論文の概要: Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

• arxiv url: http://arxiv.org/abs/2605.15459v1
• Date: Thu, 14 May 2026 22:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.119001
• Title: Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics
• Title（参考訳）: ライマン力学で最小限の損失を補う
• Authors: Albert Kjøller Jacobsen, Leo Uhre Jakobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis,
• Abstract要約: ニューラルネットワーク損失関数の最小化のためのサンプリング器を提案する。 提案するサンプリング器であるDiMSは,最小レベルセットから正確にサンプリングできることが保証されている。 本研究では,ベイズ推定の不確実性を動機付け問題とみなし,これまでに提案した手法と比較して改善された性能を観察する。
• 参考スコア（独自算出の注目度）: 3.567534554383171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The minima of modern neural network loss functions are typically not isolated, rather they form connected components of reparameterization invariant solutions on the training data. Analytically characterizing these solutions is a hard problem, but sampling approaches are feasible. By construction, existing methods either spread over low-loss regions, and thus do not sample reparameterization invariant solutions exactly, or are inherently local, which limits exploration of other minima valleys. We propose sampling such reparameterization invariant models using a dynamical system based on kinetic energy, subject to a gravitational pull and a friction term that dissipates energy from the system. Our proposed sampler, DiMS, is guaranteed to sample exactly from the minimum level sets and depends on physically motivated hyperparameters which allows control over the exploration capabilities of the sampler. We consider uncertainty quantification in Bayesian inference as the motivating problem and observe improved performance compared to previously proposed approaches.
• Abstract（参考訳）: 現代のニューラルネットワーク損失関数のミニマは通常孤立せず、トレーニングデータ上で再パラメータ化不変解の連結成分を形成する。 これらの解を解析的に特徴付けることは難しいが、サンプリングアプローチは実現可能である。 建設によって、既存の手法は低損失領域に広がり、したがって正確に再パラメータ化不変解をサンプリングしないか、あるいは本質的に局所的であり、他のミニマ・バレーの探索を制限しない。 本研究では, 運動エネルギーに基づく力学系を用いて, 重力引力と系のエネルギーを散逸させる摩擦項をサンプリングする。 提案したサンプル装置であるDiMSは,最小レベルセットから正確に試料を採取することが保証されており,試料装置の探査能力の制御を可能にする物理的に動機付けられたハイパーパラメータに依存する。 本研究では,ベイズ推定における不確実な定量化を動機付け問題とみなし,これまでに提案した手法と比較して改善された性能を観察する。

関連論文リスト

• Residual-loss Anomaly Analysis of Physics-Informed Neural Networks: An Inverse Method for Change-point Detection in Nonlinear Dynamical Systems with Regime Switching [10.645192584041162]
  本稿では,物理インフォームドニューラルネットワークの残差異常解析のための統一的フレームワークを提案する。 このアプローチは、一組の制約の下で断片的なパラメータと遷移点を共同で推論する。 提案手法は,変化点の局所化とパラメータ推定の精度の両方において,従来の分離手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-28T13:50:50Z)
• Variance-Reduced Model Predictive Path Integral via Quadratic Model Approximation [18.217598791860684]
  本稿では,事前モデルをサンプリングプロセスに統合したハイブリッド分散再生MPPIフレームワークを提案する。 本研究では,2次近似を適用すれば,情報領域のサンプルを効果的に濃縮する閉形式モデルガイダンスの導出が可能になることを実証する。
  論文  参考訳（メタデータ） (2026-02-03T15:23:17Z)
• Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms [2.860608352191896]
  高次元極限における非数値重み付きパーセプトロン問題のランダムな例を考察する。 我々は、生成アルゴリズムを用いて近似サンプリング空間を予測するためのレプリカ理論に基づくフォーマリズムを開発する。
  論文  参考訳（メタデータ） (2025-02-22T16:43:01Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Dynamical Hyperspectral Unmixing with Variational Recurrent Neural Networks [25.051918587650636]
  MTHU(Multitemporal hyperspectral unmixing)は、ハイパースペクトル画像解析の基本的なツールである。 本稿では,変分リカレントニューラルネットワークに基づく教師なしMTHUアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-19T04:51:34Z)
• Uncovering Challenges of Solving the Continuous Gromov-Wasserstein Problem [68.07116119373565]
  グロモフ=ワッサーシュタイン最適輸送(Gromov-Wasserstein Optimal Transport, GWOT)問題は、MLコミュニティの特別な関心を集めている。 既存の連続GWOTアプローチをさまざまなシナリオでクラッシュテストし、結果を注意深く記録し分析し、問題を特定します。 本稿では,離散的手法に依存しない新たな連続GWOT法を提案し,競合の問題を部分的に解決する。
  論文  参考訳（メタデータ） (2023-03-10T15:21:12Z)
• History-Based, Bayesian, Closure for Stochastic Parameterization: Application to Lorenz '96 [0.09137554315375918]
  本研究では,ニューラルネットワークに対するベイズ形式に基づく新しいパラメータ化手法を開発し,不確実な定量化を考慮に入れた。 ベイズ史に基づくパラメータ化をLorenz '96モデルに適用し,ノイズやスパースデータの存在下でのパラメータ化について検討した。 このアプローチは閉包問題に対するベイズ的アプローチの活用の道を開く。
  論文  参考訳（メタデータ） (2022-10-26T05:22:50Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。