論文の概要: Loss-Parameterized Fisher Width Along Learning Trajectories

• arxiv url: http://arxiv.org/abs/2608.21561v1
• Date: Fri, 21 Aug 2026 18:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.291829
• Title: Loss-Parameterized Fisher Width Along Learning Trajectories
• Title（参考訳）: 学習軌跡を考慮した損失パラメータ化漁業幅
• Abstract要約: まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。 結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fisher width measures the Gaussian width of a probe set after deformation by the local Fisher geometry. We study its evolution along learning trajectories and ask when training loss can serve as an effective coordinate for this quantity. We first derive an exact trace--shape factorization and a deterministic stability bound for fixed compact probes. In a population Gaussian-teacher logistic model, the teacher-aligned state is extremal on every loss level below $\log 2$: it has minimal parameter norm and maximizes both Fisher trace and Euclidean-ball Fisher width. We then show that population gradient flow asymptotically selects this branch, with explicit rates for the aligned and orthogonal coordinates. This yields, for $d\geq2$, \[ \frac{w_F(B_2^d;θ(t))} {\sqrt{L(θ(t))}} \longrightarrow \frac{\sqrt6}π\mathbb E[χ_{d-1}]. \] Controlled full-Fisher experiments support the matched-loss branch and the population predictions. In a nonlinear MLP with a diagonal model-Fisher approximation, GD and SGD remain close at matched loss, whereas Adam follows a substantially displaced branch; the fixed probes tested retain highly similar temporal shapes. These results support a branchwise, rather than universal, loss parametrization of Fisher width.
• Abstract（参考訳）: フィッシャー幅は、局所的なフィッシャー幾何学によって変形後に設定されたプローブのガウス幅を測定する。 学習軌跡に沿ったその進化について検討し、この量の効果的な座標としてトレーニング損失が有効であるかどうかを問う。 まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。 人口ガウス・教師ロジスティックモデルでは、教師の整列状態は損失レベル毎に$\log 2$以下の極端である: 最小パラメータノルムを持ち、フィッシャートレースとユークリッドボールフィッシャー幅を最大化する。 次に、人口勾配流がこの分岐を漸近的に選択し、整列座標と直交座標の明示的な速度を示すことを示す。 これは$d\geq2$, \[ \frac{w_F(B_2^d;θ(t))} {\sqrt{L(θ(t))}} \longrightarrow \frac{\sqrt6}π\mathbb E[\_{d-1}] である。 制御されたフルフィッシャー実験は、一致したロス分岐と人口予測をサポートする。 対角モデルフィッシャー近似を持つ非線形MLPでは、GDとSGDは一致した損失に近づき、Adamは実質的に変位した分岐に従っている。 これらの結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。

関連論文リスト

• Fisher Widths: Local Learning Geometry and Anisotropic Recovery [0.0]
  予備フィッシャー幅$w_G(T) = w(G1/2T)$, 逆フィッシャー幅$w_G-1(T) = w(G-1/2T)$, 逆フィッシャー距離$w_G-1(T)$。 フィッシャー-正則損失に対して,w_G(H_r)/sqrt n) が十分に小さいフィッシャー球上で達成できることを証明した。 スパースリカバリでは、結果の幾何はスペールにのみ依存する
  論文  参考訳（メタデータ） (2026-07-22T10:07:03Z)
• Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
  そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。 我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。 我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
  論文  参考訳（メタデータ） (2026-06-18T07:34:33Z)
• Fisher Width: A Geometric Measure of Complexity on Statistical Manifolds [0.0]
  統計多様体に対するガウス幅のフィッシャー幾何学的類似であるフィッシャー幅を導入する。 パラメータポイント$$では、フィッシャー幅はユークリッド恒等式を局所計量テンソル$G()1/2$で置き換え、フィッシャー縮尺集合のガウス幅を測定する。 我々はフィッシャー幅の基本的な理論を開発し、ユークリッド基底線との濃度、メートル法安定性、スペクトル比較を含むガウス幅の重要な構造的特徴を保っていることを示した。 応用として、フィッシャー・リプシッツ仮説クラスに有界な一般化を証明し、計算可能推定器を提案する。
  論文  参考訳（メタデータ） (2026-06-16T07:04:47Z)
• Geometric and Spectral Alignment for Deep Neural Network I [12.227949990332363]
  我々はフロベニウス正規化層因子の特異スペクトルに対する決定論的商-幾何推定を証明した。 フルランク因子は$mathrmGL(d)$から$Amapsto Atop A$によって正の円錐にマッピングされ、次に順序付けられた固有値データにマップされる。 正規化残鎖に対する近似パワーローおよび計量チャートバージョン、逆下界、フィッシャー--KL/バーズ作用推定、およびほぼ同一性拡張を証明した。
  論文  参考訳（メタデータ） (2026-05-04T00:07:24Z)
• Fisher-Geometric Diffusion in Stochastic Gradient Descent: Optimal Rates, Oracle Complexity, and Information-Theoretic Limits [0.0]
  そこで我々は,ミニバッチノイズが本質的,損失誘起行列である勾配降下理論を開発した。 我々はフィッシャー双対ノルムにおけるエクシロン定常性に対するオラクル-複素性保証を証明した。
  論文  参考訳（メタデータ） (2026-03-02T21:57:09Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から、大規模アプリケーションでは、非バイアスアルゴリズムは「ゴールドスタンダード」なハミルトニアン・モンテカルロよりも2～3桁効率が良いことが示された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。