論文の概要: A Thermodynamic Theory of Learning I: Irreversible Ensemble Transport and Epistemic Costs

• arxiv url: http://arxiv.org/abs/2601.17607v1
• Date: Sat, 24 Jan 2026 21:57:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.018662
• Title: A Thermodynamic Theory of Learning I: Irreversible Ensemble Transport and Epistemic Costs
• Title（参考訳）: 学習の熱力学理論I:非可逆エンサンブル輸送と疫学費用
• Authors: Daisuke Okanohara,
• Abstract要約: 学習は本質的に有限時間で行うと不可逆なプロセスであると主張する。 学習過程において必要となる最小エントロピー生産を低く抑える有限時間不等式であるエピステミック・スピード・リミットを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning systems acquire structured internal representations from data, yet classical information-theoretic results state that deterministic transformations do not increase information. This raises a fundamental question: how can learning produce abstraction and insight without violating information-theoretic limits? We argue that learning is inherently an irreversible process when performed over finite time, and that the realization of epistemic structure necessarily incurs entropy production. To formalize this perspective, we model learning as a transport process in the space of probability distributions over model configurations and introduce an epistemic free-energy framework. Within this framework, we define the free-energy drop as a bookkeeping quantity that records the total reduction of epistemic free energy along a learning trajectory. This reduction decomposes into a reversible component associated with potential improvement and an irreversible component corresponding to entropy production. We then derive the Epistemic Speed Limit (ESL), a finite-time inequality that lower-bounds the minimal entropy production required by any learning process to realize a given distributional transformation. This bound depends only on the Wasserstein distance between initial and final ensemble distributions and is independent of the specific learning algorithm.
• Abstract（参考訳）: 学習システムは、データから構造化された内部表現を取得するが、古典的な情報理論の結果は、決定論的変換が情報を増加させないことを示している。 情報理論の限界に違反することなく、どのようにして学習が抽象化と洞察を生み出すことができるのか? 学習は本質的に有限時間で行うと不可逆的なプロセスであり、エピステミック構造の実現はエントロピーの生成を必然的に引き起こすと論じる。 この視点を定式化するために、モデル構成上の確率分布空間における伝達過程として学習をモデル化し、疫学的な自由エネルギーの枠組みを導入する。 本枠組みでは, 自由エネルギー低下を, 学習軌跡に沿ったてんかん性自由エネルギーの総減少を記録する簿記量として定義する。 この還元は、潜在的な改善に関連する可逆成分とエントロピー生成に対応する可逆成分とに分解される。 次に、任意の学習プロセスで必要となる最小エントロピー生成を低く抑え、所定の分布変換を実現する有限時間不等式であるエピステミックスピード限界(ESL)を導出する。 この境界は、初期と最終アンサンブル分布の間のワッサーシュタイン距離にのみ依存し、特定の学習アルゴリズムとは独立である。

関連論文リスト

• From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence [91.54446789584826]
  エピプレキシティ(英: Epiplexity)とは、計算的に境界付けられた観測者がデータから学べるものを捉える情報の形式化である。 計算によってどのように情報を生成するか、データの順序にどのように依存するか、そしてモデリングがデータ生成プロセス自体よりも複雑なプログラムを生成する可能性を示す。
  論文  参考訳（メタデータ） (2026-01-06T18:04:03Z)
• Exploring null-entropy events: What do we learn when nothing happens? [0.0]
  ゆらぎ定理は、ミクロスケールの熱力学過程が時々負のエントロピー生成をもたらすことを証明している。 マイクロスケールでは、エントロピーが全く発生しないプロセスという別の可能性がさらに高くなる。 熱力学電流のゆらぎに対する零エントロピー事象によって課される制約について検討する。
  論文  参考訳（メタデータ） (2025-08-22T16:50:57Z)
• Structured Knowledge Accumulation: The Principle of Entropic Least Action in Forward-Only Neural Learning [0.0]
  ニューラルネットワークのネット関数と特性時間特性の2つの基本概念を紹介する。 学習を時間ベースのプロセスとして理解することで、効率的で堅牢で生物学的にインスパイアされたAIシステムを構築するための新たな方向性を開拓します。
  論文  参考訳（メタデータ） (2025-04-04T07:00:27Z)
• Entropy Cost of "Erasure" in Physically Irreversible Processes [0.0]
  ランダウアーの原理の制限された形態は、熱システムに当てはまる。 この分析のさらなる意味は、原理的には、現実世界にマクスウェルのデーモンは存在しないということである。
  論文  参考訳（メタデータ） (2023-07-05T20:23:04Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• Agnostic Physics-Driven Deep Learning [82.89993762912795]
  この研究は、物理系が勾配計算を使わずに統計的勾配学習を行えることを証明している。 Aeqpropでは、システムの詳細を知る必要はなく、プロシージャは外部操作に基づいている。 Aeqpropはまた、自然(生物)物理系において、真の勾配に基づく統計学習は、一般的な比較的単純なメカニズムによってもたらされることを証明している。
  論文  参考訳（メタデータ） (2022-05-30T12:02:53Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。