論文の概要: Fisher Widths: Local Learning Geometry and Anisotropic Recovery
- arxiv url: http://arxiv.org/abs/2607.20578v1
- Date: Wed, 22 Jul 2026 10:07:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.173441
- Title: Fisher Widths: Local Learning Geometry and Anisotropic Recovery
- Title(参考訳): Fisher Widths: 局所学習幾何学と異方性回復
- Abstract要約: 予備フィッシャー幅$w_G(T) = w(G1/2T)$, 逆フィッシャー幅$w_G-1(T) = w(G-1/2T)$, 逆フィッシャー距離$w_G-1(T)$。
フィッシャー-正則損失に対して,w_G(H_r)/sqrt n) が十分に小さいフィッシャー球上で達成できることを証明した。
スパースリカバリでは、結果の幾何はスペールにのみ依存する
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study Gaussian-width complexity on statistical manifolds through a pair of functionals: the primal Fisher width $w_G(T) = w(G^{1/2}T)$, induced by the Fisher metric, and the inverse-Fisher width $w_{G^{-1}}(T) = w(G^{-1/2}T)$, induced by the inverse Fisher metric. The two widths play complementary statistical roles. On the learning side, the Fisher width measures the size of local parameter fluctuations in the geometry induced by the Fisher information. For Fisher-regular losses, we prove that the scale \(w_G(H_r)/\sqrt n\) is attained on sufficiently small Fisher balls. On the recovery side, the inverse-Fisher width captures the effect of anisotropic Gaussian measurements whose covariance is determined by the inverse Fisher information. For sparse recovery, the resulting geometry depends not only on sparsity but also on the position of the active coordinates in the Fisher spectrum. We obtain a two-sided estimate for the corresponding statistical dimension, together with support-sensitive recovery estimates and a natural ordering of supports with different curvature profiles. Finally, we establish a sharp relation between the primal and inverse-Fisher widths. On any common compact coordinate set $T$, they satisfy \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2. \] Thus, Fisher anisotropy may transfer complexity from one geometry to the other, but cannot reduce both widths relative to the Euclidean scale.
- Abstract(参考訳): 一対の汎函数を通して統計多様体上のガウス幅複雑性を考察する: 主フィッシャー幅$w_G(T) = w(G^{1/2}T)$, フィッシャー距離$w_{G^{-1}}(T) = w(G^{-1/2}T)$, 逆フィッシャー距離$w_G(T)$, 逆フィッシャー距離$w(G^{1/2}T)$。
2つの幅は相補的な統計的な役割を担っている。
学習側では、フィッシャー幅はフィッシャー情報によって誘導される幾何学における局所パラメータ変動の大きさを測定する。
フィッシャー正則損失に対して、スケール \(w_G(H_r)/\sqrt n\) が十分に小さいフィッシャー球上で達成されることを示す。
回復側では、逆フィッシャー幅は、逆フィッシャー情報によって共分散が決定される異方性ガウス測度の影響を捉えている。
スパースリカバリでは、結果として得られる幾何はスパーシティだけでなく、フィッシャースペクトルにおける活性座標の位置にも依存する。
本研究では, 対応する統計次元の両面的推定値と, 異なる曲率プロファイルを持つ支持率の自然な順序推定値を求める。
最後に、プライマリと逆フィッシャー幅の鋭い関係を確立する。
任意の共通コンパクト座標集合 $T$ 上で、それらは \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2 を満たす。
したがって、フィッシャー異方性(Fisher anisotropy)は、1つの幾何学からもう1つの幾何学へ複雑性を伝達するが、ユークリッドスケールに対する両方の幅を減少させることはできない。
関連論文リスト
- Loss-Parameterized Fisher Width Along Learning Trajectories [0.0]
まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。
結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
論文 参考訳(メタデータ) (2026-08-21T18:52:04Z) - DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。
我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。
結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
論文 参考訳(メタデータ) (2026-07-15T06:37:05Z) - Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。
我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。
我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
論文 参考訳(メタデータ) (2026-06-18T07:34:33Z) - Fisher Width: A Geometric Measure of Complexity on Statistical Manifolds [0.0]
統計多様体に対するガウス幅のフィッシャー幾何学的類似であるフィッシャー幅を導入する。
パラメータポイント$$では、フィッシャー幅はユークリッド恒等式を局所計量テンソル$G()1/2$で置き換え、フィッシャー縮尺集合のガウス幅を測定する。
我々はフィッシャー幅の基本的な理論を開発し、ユークリッド基底線との濃度、メートル法安定性、スペクトル比較を含むガウス幅の重要な構造的特徴を保っていることを示した。
応用として、フィッシャー・リプシッツ仮説クラスに有界な一般化を証明し、計算可能推定器を提案する。
論文 参考訳(メタデータ) (2026-06-16T07:04:47Z) - Fisher geometry reshapes the effect of incompatibility in multiparameter quantum estimation [1.0542145271875853]
パラメータプレーン間の不整合の分布が全体のコストにどのように影響するかを示す。
また, 不整合度を1つのパラメータ平面に集中させることで, 最適化されたトレードオフコストを低減できることを示す。
クォートビット$SU(2)$エンコーディングは、マッチング係数$G$が十分に小さい場合、相反する強度の大きい状態がより小さいコストを発生させることができることを数値的に確認する。
論文 参考訳(メタデータ) (2026-06-09T18:22:29Z) - FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers [7.108048394322025]
アクティベーションステアリング法は、出力の振る舞いを制御するために言語モデルの中間表現を変更するが、アクティベーション空間がユークリッドであることを普遍的に仮定する。
モデル自身の出力挙動によって誘導される局所幾何学は、GPT-2上の相対スペクトルノルムにおいて、ユークリッド計量から97%以上逸脱する。
論文 参考訳(メタデータ) (2026-05-17T03:00:16Z) - Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。
本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
論文 参考訳(メタデータ) (2024-06-19T01:57:21Z) - Approximation and bounding techniques for the Fisher-Rao distances between parametric statistical models [7.070726553564701]
我々はフィッシャー・ラオ距離の数値的ロバストな近似と有界化について考察する。
特に、近似に対する任意の小さな加算誤差を保証するための一般的な方法を得る。
我々は,フィッシャー・ラオ測地線のプロキシとして機能する曲線長をベースとした2つの新しい距離を提案する。
論文 参考訳(メタデータ) (2024-03-15T08:05:16Z) - The Fisher-Rao geometry of CES distributions [50.50897590847961]
Fisher-Rao情報幾何学は、ツールを微分幾何学から活用することができる。
楕円分布の枠組みにおけるこれらの幾何学的ツールの実用的利用について述べる。
論文 参考訳(メタデータ) (2023-10-02T09:23:32Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:57:46Z) - Learning High-Precision Bounding Box for Rotated Object Detection via
Kullback-Leibler Divergence [100.6913091147422]
既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。
本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
論文 参考訳(メタデータ) (2021-06-03T14:29:19Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳(メタデータ) (2020-06-03T23:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。