論文の概要: Thermodynamic Irreversibility of Training Algorithms

• arxiv url: http://arxiv.org/abs/2605.21933v1
• Date: Thu, 21 May 2026 03:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.069322
• Title: Thermodynamic Irreversibility of Training Algorithms
• Title（参考訳）: トレーニングアルゴリズムの熱力学的不可逆性
• Authors: Liu Ziyin, Yuanjie Ren, Adam Levine, Isaac Chuang,
• Abstract要約: トレーニングアルゴリズムの不可逆性を定義し解析するための一般的な枠組みを確立する。 動的プロセスの不可逆性を特徴づける4つの異なる方法が,ステップサイズにおける先行順序と等価であることを示す。 可逆性は時間反転対称性を破る創発的な力を生み出し、非等尺的連続的パラメータ化対称性を総称的に破る。
• 参考スコア（独自算出の注目度）: 6.6239213708287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training algorithms for AI systems all introduce far-from-equilibrium dynamical processes, and understanding the irreversibility of these algorithms is a fundamental step towards understanding the learning dynamics of modern AI systems. In this work, we establish a general framework for defining and analyzing the irreversibility of training algorithms. We show that four different ways to characterize the irreversibility of dynamical processes are equivalent to leading order in the step size $η$: numerical backward error $φ_{\rm DE}$, time-renormalized correction $φ_{\rm TR}$, microscopic time reversal asymmetry $φ_{\rm TA}$, and the (regularized) stochastic-thermodynamic entropy production $φ_{\rm ST}$. The irreversibility gives rise to a time-reversal-symmetry-breaking emergent force that generically breaks non-isometric continuous reparametrization symmetries, preserves orthogonal symmetries, and leads to a universal preference for those learning trajectories that minimize the entropy production rate.
• Abstract（参考訳）: AIシステムのトレーニングアルゴリズムはすべて、非平衡力学プロセスを導入し、これらのアルゴリズムの不可逆性を理解することは、現代のAIシステムの学習力学を理解するための基本的なステップである。 本研究では,学習アルゴリズムの不可逆性を定義し解析するための一般的な枠組みを確立する。 動的過程の不可逆性を特徴づける4つの異なる方法は、ステップサイズ$η$: 数値逆誤差$φ_{\rm DE}$, 時間再正規化補正$φ_{\rm TR}$, 顕微鏡的時間反転非対称性$φ_{\rm TA}$, および(正規化)確率熱力学エントロピー生産$φ_{\rm ST}$の順に等しいことを示す。 可逆性は、非等方性連続的なパラメータ化対称性を総称的に破り、直交対称性を保ち、エントロピー生成速度を最小化する学習軌道に対する普遍的な嗜好をもたらす、時間反転対称性を破る創発力をもたらす。

関連論文リスト

• Equivariant Evidential Deep Learning for Interatomic Potentials [55.6997213490859]
  不確かさの定量化は、分子動力学シミュレーションにおける機械学習の原子間ポテンシャルの信頼性を評価するために重要である。 既存のMLIPのUQアプローチは、高い計算コストや準最適性能によって制限されることが多い。 我々は,原子間ポテンシャルの定量的深層学習(texte2$IP)を提案する。
  論文  参考訳（メタデータ） (2026-02-11T02:00:25Z)
• Intrinsic-Metric Physics-Informed Neural Networks (IM-PINN) for Reaction-Diffusion Dynamics on Complex Riemannian Manifolds [0.0]
  本研究は,本質的物理インフォームドニューラルネットワーク(IM-PINN)を紹介する。 メッシュのない幾何学的深層学習フレームワークであり、連続パラメトリック領域において偏微分方程式を直接解く。 このフレームワークは、進化する表面上の生物学的パターンの形成をシミュレートするための、メモリ効率が高く、解像度に依存しないパラダイムを提供する。
  論文  参考訳（メタデータ） (2025-12-26T12:41:05Z)
• Restarted contractive operators to learn at equilibrium [0.0]
  我々は、再起動戦略とADによって計算されたJFBを組み合わせるアルゴリズムを導入し、学習手順を最適なDECフレームワークに任意に近づけることができることを示す。 本稿では,重み付きノルムの重み付け,プラグイン・アンド・プレイスキームの段階化と正規化レベル,フォワード・バックワード・イテレートに埋め込まれたDRUNetデノイザの訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:38:56Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Symmetry-Informed Governing Equation Discovery [29.16110821783827]
  本稿では,自動方程式探索における対称性を活用して,方程式探索空間を圧縮し,学習方程式の精度と簡易性を向上させることを提案する。 提案手法は,ノイズに対するロバスト性の向上を実証し,対称性のないベースラインよりも極めて高い確率で支配方程式を復元する。
  論文  参考訳（メタデータ） (2024-05-27T01:58:23Z)
• Efficient Methods for Non-stationary Online Learning [63.268670895111654]
  動的後悔と適応的後悔を最適化する効率的な方法を提案する。 提案アルゴリズムでは,各ラウンドで1つの勾配クエリと1つの関数評価しか必要としない。 また、さらに強力な測度、すなわち「内部的動的後悔」を研究し、ラウンド当たりの射影数を$O(log2 T)$から$$$$に減らした。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Automatic Debiased Machine Learning for Dynamic Treatment Effects and General Nested Functionals [23.31865419578237]
  我々は、自動脱バイアス機械学習の考え方を動的治療体制に拡張し、より一般的にネストされた機能に拡張する。 離散的な処理を施した動的処理系に対する多重ロバストな式は、ネスト平均回帰のリース表現器のキャラクタリゼーションにより再定式化可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-25T19:54:17Z)
• Structure-Preserving Learning Using Gaussian Processes and Variational Integrators [62.31425348954686]
  本稿では,機械系の古典力学に対する変分積分器と,ガウス過程の回帰による残留力学の学習の組み合わせを提案する。 我々は、既知のキネマティック制約を持つシステムへのアプローチを拡張し、予測の不確実性に関する公式な境界を提供する。
  論文  参考訳（メタデータ） (2021-12-10T11:09:29Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization [40.21627891283402]
  本稿では,競争ゲームの均衡の計算問題について考察する。 エントロピー正則化のアルゴリズム的役割に動機付けられ、我々は証明可能な効率の良い指数関数法を開発した。
  論文  参考訳（メタデータ） (2021-05-31T17:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。