信息处理和热力学熵

信息处理原理是否需要证明统计力学的一致性？计算操作的物理实现是否纯粹由于其逻辑属性而具有基本的热力学成本？这两个问题位于大量文献的中心，这些文献涉及西拉德发动机（麦克斯韦恶魔思想实验的一种变体）、兰道尔原理（应该体现计算热力学的基本原理）以及两者之间可能的联系。回答这些问题的各种尝试已经说明了统计力学基础中的许多开放性问题。

1. 麦克斯韦、西拉德和兰道尔

1.1 麦克斯韦妖

1.2 西拉德发动机

1.3 兰道尔原理

2. 统计力学和第二定律

2.1 哪​​个熵？

2.2 第二定律是哪一条？

3. 需要信息处理的统计力学

3.1 光测量

3.2 没有恶魔的引擎

3.3 记忆与擦除

3.4 算法复杂度

3.5 声音与深刻的困境

3.6 恶魔的存在

4.利用统计力学进行信息处理

4.1 刘维尔证明

4.2 吉布斯证明

4.3 现象学证明

4.4 反驳论据和例子

5. 量子理论的作用

6. 讨论

参考书目

学术工具

其他互联网资源

相关条目

1. 麦克斯韦、西拉德和兰道尔

1.1 麦克斯韦妖

麦克斯韦妖在 1867 年写给泰特的一封信中首次被提及。麦克斯韦是热力学发展领域的众多研究人员之一，他们有兴趣从基础原子物理学的角度寻求对热现象的理解。然而，与玻尔兹曼和克劳修斯试图从原子物理学中证明熵增定律不同，麦克斯韦意识到，如果热力学最终建立在原子理论的基础上，那么热力学第二定律只能具有统计有效性。

麦克斯韦妖：分区容器

标准恶魔应该能够在气体中产生温差，而不需要花费功。气体位于一个容器中，被绝缘隔板分成两部分，但隔板上有一个孔，大小刚好足以让单个分子通过。气体已被允许在某个明确定义的温度下达到平衡，因此每个分子的平均动能为 (3/2)kT（我们忽略内部自由度并假设气体是单原子的），其中 T 是绝对（开尔文）温标，k 是玻尔兹曼常数。

恶魔配备了能够堵住洞口的百叶窗。如果移动速度快于平均速度的分子从左侧接近孔，恶魔就会用快门关闭孔，并且分子会弹性反射回左侧。如果一个分子从左侧接近，但移动速度比平均速度慢，恶魔就会让洞畅通无阻，而分子则继续向右移动。当分子从右侧接近孔时，恶魔的排序过程就会相反：慢的分子被阻挡，快的分子被允许通过。结果是左侧速度较快的分子逐渐积累，右侧速度较慢的分子逐渐积累。分子之间的进一步碰撞会将这种动能分布到每一侧，导致左侧的气体变得更热，而右侧的气体变得更冷。由于与百叶窗的碰撞是弹性的，并且移动百叶窗是无摩擦的，因此恶魔不做任何功。传统热机可以利用产生的温差来提取功，这违反了热力学第二定律。

麦克斯韦妖：工作中的标准妖

一个更简单的恶魔可以简单地通过始终阻止来自左侧的分子并且从不阻止来自右侧的分子来构建。这种压力恶魔会导致隔板两侧之间产生压力差，并且传统运行的发动机可以利用这种压力差来提取功。

他的思想实验旨在证明气体从较高熵态演化到较低熵态的可能性。洛施密特和庞加莱后来的时间反转和递归论证同样挑战了玻尔兹曼的H定理（参见Uffink（2006），第4节，对这些论证的讨论），但时间反转需要很大的灵敏度，并且递归需要很长的时间。尽管它们表明熵增加定律不是绝对的，但我们仍然可能会惊讶地发现通过这些方式实际上发生了熵的大幅减少。对于恶魔，我们似乎需要另一种解释，解释为什么这样的系统在自然界中看不到自发发生，或者为什么我们不能安排这样的熵减少发生。

麦克斯韦最初的讨论强调，恶魔需要拥有比我们强大得多的感知和处理单个分子的能力。这使得它的运行只是一个规模问题，第二定律的统计性质不是概率性的，而是由于我们无法区分大量粒子的确切状态（类似于我们无法利用洛施密特的可逆性反对意见）。这留下了一种能够区分单个原子速度波动的装置的可能性，并且尚不清楚任何概率论证是否会阻止从中提取功。 1905 年，爱因斯坦将布朗运动解释为统计机械涨落的影响，使布朗运动显得可直接观察并可供开发。 Earman 和 Norton（1998）对设计此类设备的早期尝试进行了历史回顾。

人们普遍认为 Smoluchowski (1914) 提出了阻止其运行的解释。他用物理装置取代了恶魔，在本例中是一个温和的弹簧，将活板门压在隔断的一侧。组合的弹簧和活板门应该充当阀门。如果分子从左侧碰撞，则活板门保持关闭，但如果从右侧快速碰撞，则活板门打开，从而产生压力差。然而，弹簧是一个具有自身动能和势能的系统。碰撞会将能量传递给弹簧，使其振荡。当弹簧的内能与气体的温度相匹配时，它会有效地随机地来回拍动。当分子从左侧到达时，它很可能不会自发打开，而当分子从右侧到达时，它可能会自动关闭。这种平衡意味着压力或温度差异不会比孔简单地保持开放时自发发生的可能性更大。如果弹簧的内能与气体不平衡，它将通过与分子的碰撞而被加热（或冷却），直到达到平衡。

活板门可能会在短期内违反第二定律，但从长远来看，其行为不会违反第二定律。斯莫卢霍夫斯基建议，修改后的第二定律应该表明设备无法产生连续、可靠的熵减少。

1.2 西拉德发动机

斯莫洛乔夫斯基甚至对修改后的第二定律也保留了例外的可能性：

据我们今天所知，尽管存在分子波动，但还没有自动、永久有效的永动机，但如果由智能生物适当操作，这样的装置也许可以正常运行。

Szilard (1929) 试图通过考虑一个仅包含单个分子的盒子来研究智能操作设备的这种特殊情况。他认为，为了实现熵减少，智能生物必须了解发生波动的知识，因此必须进行测量。只要执行这种测量有补偿成本，无论智能生物的特征如何，第二定律都不会受到威胁。

西拉德发动机

西拉德发动机由一个装有单个分子、与热浴热接触的盒子和一个隔板组成。热接触通过随机波动在分子和热浴之间来回传递能量。分子利用这种热能在整个盒子中随机弹跳。

隔板能够插入盒子中，将其分成两个独立的空间，并且还能够沿着盒子向左或向右无摩擦地滑动。当隔板插入盒子时，与分子的碰撞会对隔板施加压力。如果隔板沿压力方向移动，则它可以耦合到滑轮和用于提升重物的力。如果隔板抵抗压力移动，则需要耦合滑轮降低重量，抵抗分子施加的压力。

如果隔板插入到中间点，则分子以相同的概率被捕获在一侧或另一侧。现在，如果知道分子位于哪一侧，就可以将隔板连接到滑轮并提取功。根据理想气体定律PV=NkT，对于N=1的情况，标准计算表明隔板向箱体侧面移动时提取的最大功为kT  ln 2。由于假设分子始终与热浴热接触，因此分子的动能保持在(3/2)kT，提取的功是从热浴中提取的。一旦隔板到达盒子的侧面，就可以将其移除并完成循环。热量已从热浴中提取并转化为功，这显然是确定的。该过程可以无限地重复以继续进行一定的功提取。如果成功，斯莫洛乔夫斯基修改后的第二定律似乎就被违反了。

西拉德的分析强调，为了提取功，必须知道分子位于哪一侧。如果没有这个，就不可能知道分区需要向哪个方向移动。这将明显违反第二定律与恶魔的知识状态联系起来。西拉德认为，如果恶魔对知识的获取伴随着补偿性的熵成本，那么第二定律就会被拯救。许多后续文献都关注这些知识是否以及如何产生西拉德所认为的成本，或者这些知识实际上对于发动机的运行是否是必要的。

1.3 兰道尔原理

Landauer (1961) 研究了构建实现计算的设备的物理限制是什么的问题。在他写作时，布里渊 (Brillouin, 1951, 1956)、加博 (Gabor, 1964) 和罗斯斯坦 (Rothstein, 1951) 已经开展了一系列有影响力的工作，他们认为通过测量获取信息需要为所收集的每一位信息耗散至少 kT  ln 2 能量。冯·诺依曼（von Neumann，1949）还根据西拉德的工作提出，每一个信息处理行为都必然伴随着这种程度的能量耗散。

首先，将逻辑操作表示为从一组离散逻辑状态到另一组离散逻辑状态定义的抽象映射，Landauer 认为，设计用于实现逻辑操作的物理系统必须具有与逻辑状态相对应的物理状态。然后，他区分了逻辑可逆操作和逻辑不可逆操作：如果可以从输出状态唯一地识别输入状态，则操作在逻辑上可逆。

例如，NOT 运算是逻辑上可逆的运算。如果输出是逻辑状态一，则输入必须是逻辑状态零，反之亦然。逻辑上不可逆运算的一个示例是 AND 运算。如果输出是逻辑状态零，则存在可以产生该输出的输入逻辑状态的三种可能组合：（零，零）； （零，一）；和（一，零）。

由于逻辑上可逆的操作需要是 1:1 的映射，Landauer 认为它们可以通过不压缩物理状态空间的物理设备来实现。逻辑上不可逆的操作减少了逻辑状态空间，因此必须压缩物理状态空间。兰道尔认为，这必定伴随着环境中相应的熵增加，以散热的形式。大多数熟悉的逻辑运算都是不可逆的，因此根据这个论点，必然会产生热量。

用于不可逆逻辑运算的 Szilard 引擎

为了量化热量的产生，兰道尔认为最基本的逻辑上不可逆的操作就是稍微重置一下。此操作采用两个输入逻辑状态（通常为 0 和 1），并且始终输出逻辑状态 0（在某些论文中考虑重置为 1）。

对于此操作的物理实现，通常会考虑类似于 Szilard 引擎的设备。与热浴热接触的盒子包含单个分子和将盒子分成两部分的隔板。如果分子位于左侧，则物理状态表示逻辑状态零，如果分子位于右侧，则表示逻辑状态一。

然后将隔板从盒子的中心移除，这样分子就可以自由地穿过盒子。将隔板插入盒子的最右侧，并在保持热接触的情况下缓慢移动到盒子的中心。与分子的碰撞再次对隔板施加压力，需要做功，并且做功的能量通过分子转移到热浴中的热量。标准计算表明这至少需要 kT  ln 2 功。现在被称为“兰道尔原理”的一种表达是，没有可能的重置操作的物理实现可以做得更好，即将一位重置为零，将小于 kT  ln 2 的功转换为热量。

兰道尔将这种操作称为重置，尽管在许多后续文献中这已被称为擦除。这引起了一些混乱，因为“擦除”信息可能仅仅意味着破坏原始信息的操作，而不必使系统确定地处于零状态。这种“破坏擦除”的一个例子是简单地从盒子中取出隔板，等待足够长的时间进行热化以使分子的位置随机化，然后将隔板重新插入盒子的中心。这样的操作显然会破坏由分子的原始位置表示的原始信息，但不需要执行任何工作。然而，它也显然不是重置操作的实现。

兰道尔的论点表明，纯粹从逻辑运算的抽象属性中，我们可以推断出对作为该逻辑运算的体现所需的任何物理系统的热力学约束。它表明存在着不平凡的计算热力学，抽象逻辑函数与其在热系统中的物理实现之间存在着不平凡的联系。

兰道尔在 1961 年的论文中没有直接解决测量在逻辑上是可逆还是不可逆的问题，而只是质疑布里渊等人的工作中是否对测量的概念进行了足够好的定义。当时，他认为逻辑不可逆性是计算的一个重要组成部分，并认为这是信息处理中产生必要的最小热量的原因。他的论点被认为使布里渊和冯诺依曼的论点更加精确。

Bennett (1973) 以兰道尔的工作为基础，但认为逻辑不可逆性在一般计算中是可以避免的。在（Bennett 1982）中，他认为测量也可以用逻辑上可逆的过程来表示，从而避免产生热量。这代表了冯·诺依曼和布里渊的论点的重大变化，而贝内特对兰道尔原理的提出很快被接受为计算热力学的基本原理。

2. 统计力学和第二定律

致力于在统计力学背景下分析热力学第二定律的文献始于 19 世纪末统计力学的发展。之所以出现相当大的混乱，是因为随着主题的发展，关键术语的含义发生了变化或变得模糊。当一篇论文提到第二定律被违反或熵减少，而另一篇论文提到第二定律被保存或不减少时，它们不一定指的是同一件事。虽然对热物理学基础的回顾超出了本条目的范围（尽管请参阅 Sklar 和 Uffink 的相关条目），但需要牢记一些重要的区别。

2.1 哪​​个熵？

即使在唯象热力学中，热力学熵的定义也很难精确，并且可以通过多种方式来实现（参见（Uffink 2001）对这个问题的广泛处理）。传统方法基于卡诺、开尔文和克劳修斯的工作，这里将给出其中的一个版本。

封闭的热力学系统仅通过做功和热交换与外界接触。对系统所做的功通过重力势降低重量，而提取的功则用于通过重力势增加重量。这项工作可以通过操纵系统的外部可控参数（例如调节包含气体的密封盒的体积）或可以通过其他方式（例如驱动气体内的桨轮、搅拌气体）来执行。通过与系统热接触的热浴进行热量交换。可以使用许多热浴，并且它们可以处于彼此不同的温度。闭合循环是一系列操作，使系统在序列结束时处于与序列开始时相同的热力学状态，但可能会改变重物在重力势中的位置，并且可能涉及在各个热浴中沉积或提取的热量。

根据经验观察，在任何封闭循环中，其唯一结果是在温度 Ti 的热浴中产生热量 Qi（需要执行功 W=Σi Qi），克劳修斯不等式：

Σi

齐

钛

≥0

成立。热力学第二定律的开尔文版本：

除了从热浴中提取热量并且重量增加之外，执行循环过程不可能没有其他结果

和克劳修斯版本：

除了从低温热浴中提取热量并沉积在较高温度热浴中之外，执行循环过程不可能没有其他结果

是这种不平等的特例。开尔文和克劳修斯在卡诺工作的基础上提出，对于所有闭环，不等式必须作为一般法则成立。温标是绝对温标（直到正乘常数重新缩放：T'=aT，其中a>0），可以用理想气体温度计测量。

现在我们假设存在一个过程，将系统从热力学状态 A 转变为热力学状态 B，同时在温度为 Ti 的热浴中产生热量 qi，而相反的过程，从 B 到 A，在相同的热浴中产生热量 q′i，使得等式：

Σi

气

钛

 + Σi

q′i

钛

= 0

已达到。由不等式得出，如果存在任何过程将系统从状态 A 转变为状态 B，同时在温度 Ti 的热浴中产生热量 Qi，则：

Σi

齐

钛

 + Σi

q′i

钛

≥0

所以：

Σi

齐

钛

 ≥  Σi

气

钛

。

期限

Σi

气

钛

定义了与将系统从状态 A 转变为状态 B 的任何可能过程所产生的热量相关的最小量。克劳修斯认为，当系统在两种状态之间变化时，通过测量传递到热浴的热量，这可以用来定义热力学状态的函数。函数热力学熵 Sθ 定义为

Sθ(A) − Sθ(B)  =  Σi

气

钛

对于任何其他过程，

Σi

齐

钛

 ≥  Σi

气

钛

因此，对于任何可能的过程：

Σi

齐

钛

 ≥ Sθ(A) − Sθ(B)

因此，从状态 A 到状态 B 的绝热过程（不产生任何热量的过程）只有在熵增加的情况下才有可能：Sθ(A) ≤ Sθ(B)。

热力学熵的定义取决于可以达到相等的循环过程，称为可逆过程。热力学状态之间此类过程的存在允许确定这些状态之间的熵差，并且通过扩展到所有状态，定义了全局唯一的热力学熵函数（直到重新缩放S' = a−1 S + b，其中a和b是常数，a是温度尺度的乘法常数）。可能会注意到，如果存在无法通过可逆过程连接的状态，仍然总是可以定义满足以下条件的熵函数：

Σi

齐

钛

 ≥ Sθ(A) − Sθ(B)

对于所有可能的过程，但其值不会唯一确定（即，将存在许多满足不等式的函数）。

要达到循环的相等性通常需要准静态可逆过程。在这些过程中，系统会经历状态变量（例如气体的温度、体积和压力）的无限小变化，并且变化可以在任一方向上进行，并且与热浴进行相等和相反的无限小热交换。这些热交换通常仅在系统与热浴处于热平衡时才是可逆的。

为了使状态变量的变化无穷小，状态空间必须是连续的。然后，状态序列将由状态空间中的连续曲线表示。通过这些无穷小的变化将 A 与 B 连接起来的曲线用积分代替了求和。 Ti 可以用系统温度 T 代替，热量 dQ 现在是系统吸收的热量，可得出：

Sθ(B) − Sθ(A)  =  B

 ∫

一个

dQ

时间

克劳修斯不等式确保该值对于从 A 到 B 的所有准静态可逆路径都是相同的。应该注意的是，准静态可逆路径是一种理想化，只有在无限慢过程的极限下才能达到。

仅当克劳修斯不等式成立时，该热力学熵才是热力学状态的一致定义的单值函数。然而，如果麦克斯韦妖存在，那么克劳修斯不等式似乎可能不成立。为了进一步研究，有必要考虑熵的统计力学概括。

对于统计力学，我们需要考虑微观状态空间和该空间中状态的动态演化。传统上，这将是一个相空间，其中 N 体系​​统具有 3N 个位置自由度和 3N 个动量自由度。相空间中的单个点对应于所有 N 个物体的组合物理状态。动力学几乎总是被认为是哈密顿量。哈密​​顿流保留了测量 dX3NdP3N。该测量可用于定义相空间 R 区域的体积 VR，如下：

虚拟现实 =

∫

dx3Ndp3N

一个非常重要的结果是刘维尔定理，该定理表明，当一组状态通过哈密顿演化进行演化时，该组状态所占据的相空间体积不会改变。

对于量子力学系统，微观状态空间是希尔伯特空间。动态演化通常通过酉算子进行，但如果发生波函数崩溃，则具有双随机转变。状态空间区域的体积与包含该区域的最小子空间的维数相关，并且刘维尔定理的类似物适用于酉演化（双随机转变可能会增加，但不能减少该状态空间体积）。在大多数情况下，西拉德发动机和兰道尔原理的经典处理和量子处理之间几乎没有什么区别，除非另有说明，我们将使用经典处理。我们将考虑第 5 节中建议的一些差异。