論文の概要: Lower expected Fisher rank implies better PAC generalization

• arxiv url: http://arxiv.org/abs/2610.33208v1
• Date: Fri, 23 Oct 2026 18:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.273131
• Title: Lower expected Fisher rank implies better PAC generalization
• Title（参考訳）: より低いフィッシャーランクは、より優れたPAC一般化を示唆する
• Abstract要約: 低損失を同時に保証できるFisher-alignedパラメータ分布について検討する。 この分布は、フィッシャー情報行列の期待ランクとスケールする高確率一般化誤差境界をもたらす。
• 参考スコア（独自算出の注目度）: 17.085075898042316
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning architectures tend to generalize well to unseen data, but explaining this capability is still an open area of research. Under the assumption of i.i.d. data, PAC-Bayes provides a bound on generalization error, and its tightness relies on a parameter distribution that covers a large volume of low-loss solutions. The Fisher information metric endows the parameter space with a geometry for which distances reflect functional changes, and whose zero-component captures functional invariances. We define and study a Fisher-aligned parameter distribution for which we can simultaneously guarantee (1) a low-loss, thanks to the exploration constrained on the functional invariances and (2) a large log-volume of parameters, proportional to the number of zero eigenvalues. This distribution results in a high-probability generalization error bound, which scales with the expected rank of the Fisher information matrix, shedding light on the relevance of this quantity.
• Abstract（参考訳）: ディープラーニングアーキテクチャは、目に見えないデータに対してうまく一般化する傾向があるが、この能力を説明することは、まだ研究のオープンな領域である。 PAC-Bayes の仮定では、PAC-Bayes は一般化誤差に縛られ、その厳密性は大量の低損失解をカバーするパラメータ分布に依存する。 フィッシャー情報計量は、距離が機能的変化を反映し、ゼロ成分が機能的不変性をキャプチャする幾何学をパラメータ空間に与える。 我々は,(1)機能的不変性に制約された探索と(2)ゼロ固有値の数に比例した大量のパラメータの対数体積により,低損失を同時に保証できるフィッシャー配向パラメータ分布を定義し,研究する。 この分布は、フィッシャー情報行列の期待ランクとスケールする高確率一般化誤差境界となり、この値の関連性に光を当てる。

関連論文リスト

• Loss-Parameterized Fisher Width Along Learning Trajectories [0.0]
  まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。 結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
  論文  参考訳（メタデータ） (2026-08-21T18:52:04Z)
• Fisher geometry reshapes the effect of incompatibility in multiparameter quantum estimation [1.0542145271875853]
  パラメータプレーン間の不整合の分布が全体のコストにどのように影響するかを示す。 また, 不整合度を1つのパラメータ平面に集中させることで, 最適化されたトレードオフコストを低減できることを示す。 クォートビット$SU(2)$エンコーディングは、マッチング係数$G$が十分に小さい場合、相反する強度の大きい状態がより小さいコストを発生させることができることを数値的に確認する。
  論文  参考訳（メタデータ） (2026-06-09T18:22:29Z)
• On super additivity of Fisher information in fully Gaussian metrology [0.1749935196721634]
  量子光学プラットフォームでは、提案した大域演算は受動的大域演算と単一モードガウス測度のみを必要とする。 前者の場合、最適ガウス測度のフィッシャー情報と単一コピーの量子フィッシャー情報との間には大きなギャップがあるが、このギャップは共同ガウス測度によって減少し、多くのコピーの極限で閉じることができる。
  論文  参考訳（メタデータ） (2025-12-23T17:24:44Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• On the Variance of the Fisher Information for Deep Learning [79.71410479830222]
  Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。 正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。 FIMの2つの等価表現に基づく2つの推定器について検討する。
  論文  参考訳（メタデータ） (2021-07-09T04:46:50Z)
• Bayesian multiscale deep generative model for the solution of high-dimensional inverse problems [0.0]
  深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。 この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
  論文  参考訳（メタデータ） (2021-02-04T11:47:21Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。