論文の概要: Bypassing Minimization Bias: A Shift-Invariant Variance Estimator for Off-Equilibrium Local Learning Coefficients

• arxiv url: http://arxiv.org/abs/2606.22389v1
• Date: Sun, 21 Jun 2026 08:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:28:43.781844
• Title: Bypassing Minimization Bias: A Shift-Invariant Variance Estimator for Off-Equilibrium Local Learning Coefficients
• Title（参考訳）: Bypassing Minimization Bias: オフ平衡局所学習係数のシフト不変変数推定器
• Authors: Yingjia Cai,
• Abstract要約: シフト不変変数推定器(SIVE) SIVE は分散に基づく局所 LLC プローブで、分散演算子を通して未知の加法基底線を構造的に除去する。 ディープニューラルネットワークの適用により、SIVEは、トレーニング全体を通して構造的なフェーズ遷移を追跡する、堅牢でローカライズされたオンライン診断を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Singular Learning Theory leverages the Local Learning Coefficient (LLC) to quantify the geometry of neural network loss landscapes. However, mean-energy LLC estimators depend explicitly on an additive loss baseline, typically an estimate of the local minimum. During transient, off-equilibrium training phases, this minimum is unknown; substituting it with the lowest noisy mini-batch loss induces a systematic minimization bias that distorts the geometric measurement. In this paper, we propose the Shift-Invariant Variance Estimator (SIVE), a variance-based local LLC probe that structurally eliminates the unknown additive baseline through the variance operator. Combining this shift-invariant observable with an explicit correction derived from the Law of Total Variance, SIVE separates geometric loss fluctuations from mini-batch evaluation noise. Controlled experiments on analytically tractable toy models show that SIVE recovers the expected finite-temperature geometric signal in regimes where anchored mean estimators fail. Applied to deep neural networks, SIVE provides a robust, localized online diagnostic for tracking structural phase transitions throughout training.
• Abstract（参考訳）: 特異学習理論は、局所学習係数(LLC)を利用して、ニューラルネットワーク損失ランドスケープの幾何学を定量化する。 しかしながら、平均エネルギー LLC推定器は、通常、局所的な最小値の見積もりである加算損失ベースラインに明示的に依存する。 過渡的、非平衡な訓練段階において、この最小限は未知であり、低ノイズのミニバッチ損失に置換することで、幾何学的測定を歪ませる体系的な最小化バイアスが生じる。 本稿では,分散演算子を用いて未知の加法基底線を構造的に除去する分散型ローカルLLCプローブであるShift-Invariant Variance Estimator (SIVE)を提案する。 このシフト不変量と全変動法則から導かれる明示的な補正を組み合わせることで、SIVEは幾何学的損失変動をミニバッチ評価ノイズから分離する。 解析的抽出可能な玩具モデルに関する制御された実験により、SIVEは平均推定器が故障した状態において、期待される有限温度の幾何学的信号を回復することを示した。 ディープニューラルネットワークに適用されたSIVEは、トレーニング全体を通じて構造相遷移を追跡する、堅牢でローカライズドなオンライン診断を提供する。

関連論文リスト

• Unified Geometry-Guided ML-FTLE for Tracking Transient Chaos from Scalar Time Series [0.0]
  本稿では,予測軌道の偏差をマクロ的な誘引形態と統合し,突発的な状態変化を追跡する幾何学誘導型機械学習フレームワークを提案する。 この方程式のないフレームワークは、複雑な非定常系の構造遷移を監視するために、高精度でノイズ耐性のある診断を提供する。
  論文  参考訳（メタデータ） (2026-06-05T15:22:57Z)
• Variationally correct operator learning: Reduced basis neural operator with a posteriori error estimation [3.8135482236014133]
  PDE-残留損失の最小化は、ニューラル演算子の物理的一貫性を促進するための一般的な戦略である。 本研究は,FOSLS(Fon-order system least-squares)の目的を定式化することによって,変分正しい演算子学習フレームワークを開発する。 本稿では,有限要素の離散化バイアス,ベーストランケーション誤差の低減,ニューラルネットワーク近似誤差,統計的推定誤差の和で総誤差を束縛する厳密な収束解析を提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:37:59Z)
• Precise Bayesian Neural Networks [0.0]
  我々は,現代的な正規化アーキテクチャに適合し,精度を犠牲にすることなくキャリブレーションを改善する軽量で実装可能な変分ユニットを開発した。 簡単に言えば、変分後部をネットワーク固有の幾何学と整合させることで、BNNは同時に原理化され、実用的で、正確である。
  論文  参考訳（メタデータ） (2025-06-24T15:42:00Z)
• Modes of Sequence Models and Learning Coefficients [0.6906005491572401]
  変換器ネットワークにおける損失ランドスケープの計測可能な特性とデータ中のパターンをリンクするシーケンスモデリングの幾何学的記述を開発する。 局所学習係数の推定値がデータ依存しきい値以下のモードに無関心であることを理論的に示す。 この洞察は、ネットワークパラメータが人口減少の厳格な最小限ではない場合でも、なぜ信頼できるLLC推定値が得られるのかを明らかにする。
  論文  参考訳（メタデータ） (2025-04-25T03:38:10Z)
• Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods [0.38233569758620045]
  ニューラルネットワークに基づく条件密度推定器を用いて適応的に提案されたシミュレーションから後部を学習することを目的とする。 Greenbergらによって提案された自動後部変換(APT)法は,高レベルのランタイムデータに対して良好に動作し,スケールする。 本稿では,APTをネスト推定問題として再検討する。 損失関数とその勾配に対するマルチモンテカルロ (MLMC) 推定器を構築し, 異なるシナリオに対応する。
  論文  参考訳（メタデータ） (2024-01-30T06:29:41Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。