論文の概要: Thermodynamically Optimal Regularization under Information-Geometric Constraints

• arxiv url: http://arxiv.org/abs/2601.17330v1
• Date: Sat, 24 Jan 2026 06:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.59592
• Title: Thermodynamically Optimal Regularization under Information-Geometric Constraints
• Title（参考訳）: 情報幾何学的制約下における熱力学的最適正則化
• Authors: Laurent Caraffa,
• Abstract要約: 現代の機械学習は経験的に成功したが理論上は異質な正規化技法の収集に依存している。 本稿では,熱力学的最適性,情報幾何学,正規化を結合する統一理論フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.6345523830122167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning relies on a collection of empirically successful but theoretically heterogeneous regularization techniques, such as weight decay, dropout, and exponential moving averages. At the same time, the rapidly increasing energetic cost of training large models raises the question of whether learning algorithms approach any fundamental efficiency bound. In this work, we propose a unifying theoretical framework connecting thermodynamic optimality, information geometry, and regularization. Under three explicit assumptions -- (A1) that optimality requires an intrinsic, parametrization-invariant measure of information, (A2) that belief states are modeled by maximum-entropy distributions under known constraints, and (A3) that optimal processes are quasi-static -- we prove a conditional optimality theorem. Specifically, the Fisher--Rao metric is the unique admissible geometry on belief space, and thermodynamically optimal regularization corresponds to minimizing squared Fisher--Rao distance to a reference state. We derive the induced geometries for Gaussian and circular belief models, yielding hyperbolic and von Mises manifolds, respectively, and show that classical regularization schemes are structurally incapable of guaranteeing thermodynamic optimality. We introduce a notion of thermodynamic efficiency of learning and propose experimentally testable predictions. This work provides a principled geometric and thermodynamic foundation for regularization in machine learning.
• Abstract（参考訳）: 現代の機械学習は、経験的に成功したが理論上は異質な正規化技術、例えば重量減少、減退、指数的な移動平均の収集に依存している。 同時に、大規模モデルをトレーニングする際のエネルギーコストの急激な増加は、学習アルゴリズムが基本的な効率境界に近づくかどうかという問題を提起する。 本研究では,熱力学的最適性,情報幾何学,正規化を結合する統一理論フレームワークを提案する。 A1) 最適性は情報固有のパラメトリゼーション不変測度を必要とし、(A2) 信念状態は既知の制約の下で最大エントロピー分布によってモデル化され、(A3) 最適過程は準静的である、という3つの明示的な仮定の下で条件最適性定理を証明する。 ガウス的および円的信念モデルに対する誘導測地を導出し、それぞれ双曲多様体とフォン・ミーゼス多様体を導出し、古典正規化スキームが構造的に熱力学的最適性を保証することができないことを示す。 本稿では,学習の熱力学的効率の概念を導入し,実験的に検証可能な予測法を提案する。 この研究は、機械学習における正規化のための原則化された幾何学的および熱力学的基礎を提供する。

関連論文リスト

• Physics Informed Viscous Value Representations [18.60946729267083]
  ハミルトン-ヤコビ-ベルヒケマン方程式の粘性解の物理インフォームド正規化を提案する。 提案手法は,最適制御理論の学習過程を基礎として,値反復中の更新を明示的に正規化し,バウンダリングする。 実験により, この手法は幾何整合性を向上し, ナビゲーションや高次元複雑な操作に広く適用可能であることが示された。
  論文  参考訳（メタデータ） (2026-02-26T17:53:46Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• Learning Geometry: A Framework for Building Adaptive Manifold Models through Metric Optimization [8.201374511929538]
  本稿では,従来のパラメータ最適化を超越した機械学習のパラダイムを提案する。 既定位相を持つ多様体上の計量テンソル場を最適化することにより、モデル空間の幾何学的構造を動的に形成する。 この研究は、その幾何学とトポロジーを自律的に進化させることができる完全にダイナミックな「メタ・ラーナー」を構築するための確固たる基礎を築いた。
  論文  参考訳（メタデータ） (2025-10-30T01:53:32Z)
• Differentiable Entropy Regularization for Geometry and Neural Networks [6.908972852063454]
  計算幾何学の最近の概念である範囲分割エントロピーの微分可能推定器を導入する。 我々は、下流のインスタンス最適化アルゴリズムを高速化するために、データを低エントロピー形式に再構成するニューラルネットワークモジュールであるEntropyNetを設計する。 タスク全体にわたって、微分可能なエントロピーは正しさを損なうことなく効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-03T21:38:22Z)
• Thermodynamic Constraints on the Emergence of Intersubjectivity in Quantum Systems [41.94295877935867]
  理想的な量子測定には、異なる熱力学資源が必要である。 この研究は、量子熱力学と古典性の出現を物体間相互作用の形で橋渡しする。
  論文  参考訳（メタデータ） (2025-07-28T11:39:10Z)
• Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
  本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。 提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
  論文  参考訳（メタデータ） (2024-10-18T17:13:29Z)
• Learning Generalized Statistical Mechanics with Matrix Product States [41.94295877935867]
  本稿では,標準ギブズエントロピーの代わりにTsallisエントロピーを用いて定義された一般化自由エネルギーを最小化することにより,行列積状態に基づく変分アルゴリズムを導入する。 その結果,一般化された統計力学に関連する確率分布が得られた。
  論文  参考訳（メタデータ） (2024-09-12T18:30:45Z)
• Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
  本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。 活性係数予測の精度と熱力学的整合性を示す。
  論文  参考訳（メタデータ） (2024-07-08T06:58:56Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• Thermodynamic geometry of ideal quantum gases: a general framework and a geometric picture of BEC-enhanced heat engines [0.0]
  平衡物理学の標準的なアプローチは、熱力学的に一貫した方法で遅い駆動状態にまで拡張できることを示す。 我々はリンドブラッド型量子マスター方程式を用いて、調和に閉じ込められたボースガスを用いて量子多体エンジンの力学モデルを構築する。 我々の研究は、量子多体効果が熱機械の性能に与える影響を体系的に評価することを可能にする、より一般的な熱力学フレームワークの道を開いた。
  論文  参考訳（メタデータ） (2022-12-22T23:14:00Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Free Energy Minimization: A Unified Framework for Modelling, Inference, Learning,and Optimization [42.275148861039895]
  自由エネルギーの最小化は、ここで、そして歴史的に、熱力学の原理として初めて導入された。 モデリング、推論、学習、最適化に関する先程のアプリケーションは、基本原則から始まっている。
  論文  参考訳（メタデータ） (2020-11-25T11:29:03Z)
• Physics-constrained Bayesian inference of state functions in classical density-functional theory [0.6445605125467573]
  我々は,古典統計力学の逆問題に対する新しいデータ駆動手法を開発した。 我々は, 近似自由エネルギー関数の構成を特徴付ける効率的な学習アルゴリズムを開発した。 我々は、自由エネルギーの観点からモデリングする上で非常に困難である一方、自然界においてユビキタスな体積粒子相互作用を除外することを検討する。
  論文  参考訳（メタデータ） (2020-10-07T12:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。