論文の概要: Hamiltonian Metric Learning and Energy-Based Training: A Dissipative Geometric Framework for Optimization
- arxiv url: http://arxiv.org/abs/2610.04969v1
- Date: Sun, 04 Oct 2026 05:33:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:26:39.404124
- Title: Hamiltonian Metric Learning and Energy-Based Training: A Dissipative Geometric Framework for Optimization
- Title（参考訳）: ハミルトン計量学習とエネルギーベーストレーニング--最適化のための散逸的幾何学的枠組み
- Abstract要約: 本稿では,パラメータ最適化を散逸的力学系の進化として扱う別の視点について検討する。
対応するハミルトン力学、位置依存計量によって生成される幾何力、および計量レイリー散逸法を導出する。
これらの例は、空間における散逸運動として最適化を研究するための幾何学的でエネルギー互換のフレームワークとしてHAMLETを確立している。
- 参考スコア（独自算出の注目度）: 1.7834387848215043
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optimization in machine learning is usually expressed through iterative rules that update model parameters using information from the loss landscape. In this work, we study an alternative viewpoint in which parameter optimization is treated as the evolution of a dissipative dynamical system. The model parameters are regarded as generalized coordinates, the loss acts as a potential energy, and a positive-definite metric defines the local kinetic geometry of parameter space. Starting from a variational formulation, we derive the corresponding Hamiltonian dynamics, the geometric force generated by a position-dependent metric, and a metric-compatible Rayleigh dissipation law. The resulting continuous system satisfies a monotonic energy-dissipation relation, while its discrete form allows the influence of curvature on the optimization trajectory to be studied directly. We illustrate the framework using a controlled CIFAR-10 image-reconstruction problem for which the optimum is known analytically. With the image Hessian used as the metric, the curvature dependence of the quadratic modal dynamics is removed. We then reparameterize the same image as a matrix product state, producing a genuinely position-dependent metric and a nonzero geometric force. Poincaré return maps provide a complementary phase-space view of the resulting contraction dynamics. These examples establish HAMLET as a geometric, energy-based framework for studying optimization as dissipative motion in parameter space. On a five-seed MNIST MLP benchmark, HAMLET attains the highest mean test accuracy (97.95\%) and the lowest mean test negative log-likelihood (0.0696) among the three evaluated optimizers.
- Abstract（参考訳）: 機械学習における最適化は通常、損失ランドスケープの情報を使用してモデルパラメータを更新する反復ルールによって表現される。
本研究では,パラメータ最適化を散逸的力学系の進化として扱う別の視点について検討する。
モデルパラメータは一般化座標と見なされ、損失はポテンシャルエネルギーとして作用し、正定距離はパラメータ空間の局所運動幾何学を定義する。
変分定式化から始め、対応するハミルトン力学、位置依存計量によって生成される幾何力、および計量互換レイリー散逸法を導出する。
結果として生じる連続系は単調エネルギー散逸関係を満たすが、その離散形式は曲率の影響を直接研究することができる。
本稿では,制御されたCIFAR-10画像再構成問題を用いて,最適解が解析的に知られているフレームワークについて説明する。
計量としてヘシアン像を用いると、2次モーダル力学の曲率依存性が除去される。
次に、行列積状態と同じ画像をパラメータ化し、真に位置依存の計量と非ゼロ幾何学的力を生成する。
ポアンカレの戻り写像は、結果として生じる収縮ダイナミクスの相補的な位相空間ビューを提供する。
これらの例は、パラメータ空間における散逸運動として最適化を研究するための幾何学的エネルギーベースのフレームワークとしてHAMLETを確立している。
5シードのMNIST MLPベンチマークでは、HAMLETは3つの評価オプティマイザの中で最高平均テスト精度(97.95\%)と最低平均テスト陰性ログ類似度(0.0696)を達成している。
関連論文リスト
- Transolver-$σ$: Joint Spectral-Physical Subspace Modeling for Neural PDE Solving [53.58729034895666]
Transolver-$は、結合スペクトル-物理部分空間モデリングに基づくニューラルPDEソルバである。
平均的な相対誤差を33.4%減らし、各基準に対して最強の基準線を上回り、最先端を達成している。
論文 参考訳（メタデータ） (2026-09-29T11:24:19Z) - Symmetry Constraints Regularize Neural Quantum State Learning [0.5863360388454261]
ハミルトン対称性を変分パラメータ化に直接埋め込むことは、この学習問題を幾何学的に正則化することを示す。
ボルツマン族 NQS に対して、局所パウリ-$Z$ジェネレータを物理幾何学軌道に沿って結び付けることで対称性を強制する。
この枠組みは、高品質で低エネルギーの解に対応する物理的にアクセス可能な状態空間の分数を評価する。
論文 参考訳（メタデータ） (2026-08-09T16:23:06Z) - A Defense of the Quadratic Model [71.57026347416729]
最も単純な最適化モデル -- 二次モデル -- をテストする。
1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
論文 参考訳（メタデータ） (2026-07-23T18:02:03Z) - Optimization Geometrodynamics: Variational Reduction and Interaction Curvature [0.0]
我々は、この隠れ行列式プッシュフォワードの変分理論として、測地力学を発展させる。
アフィン事前還元の場合、誘導的相互作用曲率(英語版)は負半有限作用素 $-G*H-1G$ である。
閉全測地線ファイバーを持つ大域的解析バンドルと、特異な解析的近接制御器部とを証明した。
論文 参考訳（メタデータ） (2026-07-07T18:42:00Z) - Constrained Extreme Gradient Boosting for Adapting Reduced-Order Models [4.028552544912019]
計算流体力学や有限要素解析のような高忠実度シミュレーションは複雑な工学系のモデリングに不可欠である。
プロジェクションベースのリダクションオーダーモデル(ROM)は、低次元部分空間に制御力学を投影することにより、このコストを軽減する。
しかし、それらの性能はパラメータの変動によって劣化し、適応的なベース構築の必要性を動機付けている。
論文 参考訳（メタデータ） (2026-05-05T16:58:09Z) - Fast and Effective Computation of Generalized Symmetric Matrix Factorization [16.011610920688998]
非滑らかで非Lipschitz一般化対称行列分解モデルを提案する。
このモデルは、機械学習、画像科学、工学、および関連する領域において、幅広い種類の行列分解の定式化を統一する。
実際のデータセットに関する数値実験は、ANAUMの効率を実証する。
論文 参考訳（メタデータ） (2026-03-19T17:03:52Z) - ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - Learning Geometry: A Framework for Building Adaptive Manifold Models through Metric Optimization [8.201374511929538]
本稿では,従来のパラメータ最適化を超越した機械学習のパラダイムを提案する。
既定位相を持つ多様体上の計量テンソル場を最適化することにより、モデル空間の幾何学的構造を動的に形成する。
この研究は、その幾何学とトポロジーを自律的に進化させることができる完全にダイナミックな「メタ・ラーナー」を構築するための確固たる基礎を築いた。
論文 参考訳（メタデータ） (2025-10-30T01:53:32Z) - Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。
提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
論文 参考訳（メタデータ） (2022-05-18T17:11:23Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳（メタデータ） (2022-02-01T21:21:56Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳（メタデータ） (2021-02-22T19:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。