論文の概要: Thermodynamically Optimal Regularization under Information-Geometric Constraints
- arxiv url: http://arxiv.org/abs/2601.17330v1
- Date: Sat, 24 Jan 2026 06:26:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:07.59592
- Title: Thermodynamically Optimal Regularization under Information-Geometric Constraints
- Title（参考訳）: 情報幾何学的制約下における熱力学的最適正則化
- Authors: Laurent Caraffa,
- Abstract要約: 現代の機械学習は経験的に成功したが理論上は異質な正規化技法の収集に依存している。
本稿では,熱力学的最適性,情報幾何学,正規化を結合する統一理論フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.6345523830122167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning relies on a collection of empirically successful but theoretically heterogeneous regularization techniques, such as weight decay, dropout, and exponential moving averages. At the same time, the rapidly increasing energetic cost of training large models raises the question of whether learning algorithms approach any fundamental efficiency bound. In this work, we propose a unifying theoretical framework connecting thermodynamic optimality, information geometry, and regularization. Under three explicit assumptions -- (A1) that optimality requires an intrinsic, parametrization-invariant measure of information, (A2) that belief states are modeled by maximum-entropy distributions under known constraints, and (A3) that optimal processes are quasi-static -- we prove a conditional optimality theorem. Specifically, the Fisher--Rao metric is the unique admissible geometry on belief space, and thermodynamically optimal regularization corresponds to minimizing squared Fisher--Rao distance to a reference state. We derive the induced geometries for Gaussian and circular belief models, yielding hyperbolic and von Mises manifolds, respectively, and show that classical regularization schemes are structurally incapable of guaranteeing thermodynamic optimality. We introduce a notion of thermodynamic efficiency of learning and propose experimentally testable predictions. This work provides a principled geometric and thermodynamic foundation for regularization in machine learning.
- Abstract（参考訳）: 現代の機械学習は、経験的に成功したが理論上は異質な正規化技術、例えば重量減少、減退、指数的な移動平均の収集に依存している。
同時に、大規模モデルをトレーニングする際のエネルギーコストの急激な増加は、学習アルゴリズムが基本的な効率境界に近づくかどうかという問題を提起する。
本研究では,熱力学的最適性,情報幾何学,正規化を結合する統一理論フレームワークを提案する。
A1) 最適性は情報固有のパラメトリゼーション不変測度を必要とし、(A2) 信念状態は既知の制約の下で最大エントロピー分布によってモデル化され、(A3) 最適過程は準静的である、という3つの明示的な仮定の下で条件最適性定理を証明する。
ガウス的および円的信念モデルに対する誘導測地を導出し、それぞれ双曲多様体とフォン・ミーゼス多様体を導出し、古典正規化スキームが構造的に熱力学的最適性を保証することができないことを示す。
本稿では,学習の熱力学的効率の概念を導入し,実験的に検証可能な予測法を提案する。
この研究は、機械学習における正規化のための原則化された幾何学的および熱力学的基礎を提供する。
関連論文リスト
- Learning Geometry: A Framework for Building Adaptive Manifold Models through Metric Optimization [8.201374511929538]
本稿では,従来のパラメータ最適化を超越した機械学習のパラダイムを提案する。
既定位相を持つ多様体上の計量テンソル場を最適化することにより、モデル空間の幾何学的構造を動的に形成する。
この研究は、その幾何学とトポロジーを自律的に進化させることができる完全にダイナミックな「メタ・ラーナー」を構築するための確固たる基礎を築いた。
論文 参考訳（メタデータ） (2025-10-30T01:53:32Z) - Differentiable Entropy Regularization for Geometry and Neural Networks [6.908972852063454]
計算幾何学の最近の概念である範囲分割エントロピーの微分可能推定器を導入する。
我々は、下流のインスタンス最適化アルゴリズムを高速化するために、データを低エントロピー形式に再構成するニューラルネットワークモジュールであるEntropyNetを設計する。
タスク全体にわたって、微分可能なエントロピーは正しさを損なうことなく効率を向上することを示した。
論文 参考訳（メタデータ） (2025-09-03T21:38:22Z) - Thermodynamic Constraints on the Emergence of Intersubjectivity in Quantum Systems [41.94295877935867]
理想的な量子測定には、異なる熱力学資源が必要である。
この研究は、量子熱力学と古典性の出現を物体間相互作用の形で橋渡しする。
論文 参考訳（メタデータ） (2025-07-28T11:39:10Z) - Learning Generalized Statistical Mechanics with Matrix Product States [41.94295877935867]
本稿では,標準ギブズエントロピーの代わりにTsallisエントロピーを用いて定義された一般化自由エネルギーを最小化することにより,行列積状態に基づく変分アルゴリズムを導入する。
その結果,一般化された統計力学に関連する確率分布が得られた。
論文 参考訳（メタデータ） (2024-09-12T18:30:45Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。
時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。
様々な物理システムに対する実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-10-10T08:52:16Z) - Thermodynamic geometry of ideal quantum gases: a general framework and a
geometric picture of BEC-enhanced heat engines [0.0]
平衡物理学の標準的なアプローチは、熱力学的に一貫した方法で遅い駆動状態にまで拡張できることを示す。
我々はリンドブラッド型量子マスター方程式を用いて、調和に閉じ込められたボースガスを用いて量子多体エンジンの力学モデルを構築する。
我々の研究は、量子多体効果が熱機械の性能に与える影響を体系的に評価することを可能にする、より一般的な熱力学フレームワークの道を開いた。
論文 参考訳（メタデータ） (2022-12-22T23:14:00Z) - Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
テンソルの合同ベンチマークとクラスタリングの問題を考察する。
本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-15T21:06:16Z) - Free Energy Minimization: A Unified Framework for Modelling, Inference,
Learning,and Optimization [42.275148861039895]
自由エネルギーの最小化は、ここで、そして歴史的に、熱力学の原理として初めて導入された。
モデリング、推論、学習、最適化に関する先程のアプリケーションは、基本原則から始まっている。
論文 参考訳（メタデータ） (2020-11-25T11:29:03Z) - Physics-constrained Bayesian inference of state functions in classical
density-functional theory [0.6445605125467573]
我々は,古典統計力学の逆問題に対する新しいデータ駆動手法を開発した。
我々は, 近似自由エネルギー関数の構成を特徴付ける効率的な学習アルゴリズムを開発した。
我々は、自由エネルギーの観点からモデリングする上で非常に困難である一方、自然界においてユビキタスな体積粒子相互作用を除外することを検討する。
論文 参考訳（メタデータ） (2020-10-07T12:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。