論文の概要: Spectral Perturbation of the Empirical Fisher Information Matrix under Weight Quantization

• arxiv url: http://arxiv.org/abs/2606.28432v1
• Date: Fri, 26 Jun 2026 02:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.556685
• Title: Spectral Perturbation of the Empirical Fisher Information Matrix under Weight Quantization
• Title（参考訳）: 重量量子化下における経験的漁業情報行列のスペクトル摂動
• Abstract要約: 本研究では、2つの構造的摂動下でのパラメトリック統計モデルのフィッシャー情報行列(FIM)のスペクトル摂動について検討する。 第一に、明示的な局所曲率-単調性仮説の下では、FIMの固有値_maxを確実に高める基準多様体から逸脱することを示す。 我々の主な結果は、ワイルの不等式を経由し、量子化雑音下でのシグマ_maxの値を示す方向固有値摂動である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the spectral perturbation of the empirical Fisher Information Matrix (FIM) of a parametric statistical model under two structured perturbations: departure of the input from a reference (in-distribution) ensemble, and finite-precision (quantized) perturbation of the model's parameters. For the first, under an explicit local curvature-monotonicity hypothesis on the dominant eigenvalue lambda_max of the FIM, we show departure from a reference manifold provably elevates lambda_max relative to a calibration baseline (Proposition 3.2), and discuss why this hypothesis is required, since curvature need not increase monotonically under every perturbation. Our principal result is a directional eigenvalue perturbation bound, via Weyl's inequality, showing lambda_max under a quantization noise perturbation is lower bounded by its unperturbed value up to a third-order remainder, and, under a mild genericity condition, strictly exceeds it at leading order (Theorem 4.3). We give two tractable approximations to lambda_max -- one heuristic, one with a rigorous two-sided bound -- and a completeness result for a threshold-based partition of an augmented state space. These results motivate using sigma_t = lambda_max(F_t)/lambda_base as a runtime monitoring statistic for deployed language models: the quantization result offers a mechanism for an empirical observation of our own, where a calibration threshold for this statistic was approximately 244 times larger than a preliminary full-precision estimate on a 4-bit quantized model, a single measurement rather than a value derived in closed form. We report supporting measurements (twelve models, n=1,080 trajectories) broadly consistent with our predictions, discuss the scope and limitations of every result, and state as an open problem the closed-form prediction of the quantization inflation magnitude our bound does not supply.
• Abstract（参考訳）: 本研究では, パラメトリック統計モデル(FIM)のスペクトル摂動について, 参照(分布内)アンサンブルからの入力の離脱と, モデルのパラメータの有限精度(量子化)摂動の2つの構造的摂動の下で検討する。 第一に、FIM の固有値 lambda_max 上の明示的な局所曲率-単調性仮説の下では、基準多様体からの離脱は、キャリブレーションベースラインに対するラムダ_max を確実に上昇させる(命題32)。 我々の主な結果は、ワイルの不等式による方向固有値摂動境界であり、量子化ノイズ摂動の下でのラムダ_maxは、その非摂動値によって3階の残差まで低くなっており、軽度の一般性条件下では、先行順序でそれを厳格に上回っている(定理4.3)。 1つはヒューリスティックで、もう1つは厳密な2辺境界を持つものであり、拡張状態空間のしきい値ベースのパーティションに対する完全性の結果である。 これらの結果は,Sigma_t = lambda_max(F_t)/lambda_baseを,デプロイされた言語モデルに対する実行時の監視統計量として用いることを目的としている。 我々は、我々の予測と広く一致している測定(12モデル、n=1,080トラジェクトリ)を報告し、すべての結果のスコープと制限について議論し、オープンな問題として、我々の境界が供給しない量子化インフレーションマグニチュードの閉形式予測を行う。

関連論文リスト

• Conditional Diffusion for Nonparametric Instrumental Variable Quantile Regression [18.254578337569264]
  本研究では,条件拡散モデルとカーネルパラメトリック条件モーメント定式化を組み合わせた2段階推定器を提案する。 提案した推定器の余剰リスク境界を確立し,条件付き拡散モデルに対するエンドツーエンドの総変動保証を導出する。 シミュレーション研究と実データ応用により,提案手法が既存の非パラメトリックIVQR手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-08T16:01:24Z)
• Exact Closed-Form Quantum Correlations of Maximally Entangled Qudit States under Arbitrary Non-Markovian Pure Dephasing [0.0]
  非マルコフ純粋退化の下で、任意の次元$d$の最大絡み合った一対の四重項に対して、絡み合いと量子不協和の時間的進化を研究する。 この解はボルン-マルコフ、リンドブラッド、回転波近似を必要としないので、ここで報告されたすべての結果は正確な力学から直接従う。
  論文  参考訳（メタデータ） (2026-07-22T03:05:59Z)
• Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model [0.554780083433538]
  ガウス位置モデルにおけるリッジ正規化対数密度比の推定について検討する。 変分推定器は、経験的クルバック・リーブラー(KL)対数正規化フィッティングであり、その非定数係数は2乗 L2-ペナルティである。
  論文  参考訳（メタデータ） (2026-07-02T08:46:52Z)
• A Spectral Framework for Closed-Form Relative Density Estimation [0.554780083433538]
  線形パラメータ化確率モデルにおける相対対数密度推定のための閉形式スペクトルフレームワークを提案する。 我々は,一階および二階の特徴モーメントのみに基づく明示的なスペクトル式を導出し,固定特徴量に対する発散係数と対数密度ポテンシャルの両方の閉形式推定値を得る。
  論文  参考訳（メタデータ） (2026-05-11T14:51:17Z)
• Universality of General Spiked Tensor Models [9.454986540713655]
  高次元状態におけるランクワンスパイクテンソルモデルについて検討する。 本研究では,その高次元スペクトル挙動と統計的限界が非ガウス雑音に対して頑健であることを示す。
  論文  参考訳（メタデータ） (2026-02-04T11:59:30Z)
• Extracting quantum field theory dynamics from an approximate ground state [0.0]
  量子場理論において静的基底状態相関器から情報を抽出する線形プログラミング法を開発した。 真空への変分近似を用いて, 1+1$-dimensional 4$モデルを用いて実験を行った。 結果として生じる質量ギャップは、再正規化されたハミルトン・トランケーションとボレルが仮定する摂動理論と一致する。
  論文  参考訳（メタデータ） (2025-12-22T17:25:24Z)
• A General Class of Model-Free Dense Precision Matrix Estimators [0.0]
  本稿では,経済学に広く応用可能なモデルフリーで高精度な行列推定器の試作について紹介する。 i) 精度行列推定誤差の非漸近境界、(ii) 固有信号対雑音の存在を明らかにし、(iv) 正確な集団空間性仮定を避けることができる。 その望ましい理論的性質に加えて、S&P 500指数の徹底的な実験的研究により、一般推定器のチューニングパラメータフリーな特殊ケースはシャープ比が2倍に上昇することを示す。
  論文  参考訳（メタデータ） (2025-07-07T05:07:17Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Off-policy estimation of linear functionals: Non-asymptotic theory for semi-parametric efficiency [59.48096489854697]
  観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。 このような手順の平均二乗誤差に対して非漸近上界を証明した。 非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
  論文  参考訳（メタデータ） (2022-09-26T23:50:55Z)
• Structural aspects of FRG in quantum tunnelling computations [68.8204255655161]
  一次元の4次元高調波発振器とダブルウェルポテンシャルの両方を探索する。 ポテンシャルV_k(varphi)と波動関数再正規化Z_k(varphi)の2つの偏微分方程式について検討した。
  論文  参考訳（メタデータ） (2022-06-14T15:23:25Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• A Random Matrix Perspective on Random Tensors [40.89521598604993]
  与えられたランダムテンソルの収縮から生じるランダム行列のスペクトルについて検討する。 本手法は,ML問題の局所的な最大値の未知な特徴を与える。 我々のアプローチは万能であり、非対称、非ガウス的、高階的など他のモデルにも拡張できる。
  論文  参考訳（メタデータ） (2021-08-02T10:42:22Z)
• Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
  予測誤差の最大値と最大値の上限を示す。 過剰な予測リスクの正確な上限は、非漸近的な形で示される。 モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
  論文  参考訳（メタデータ） (2020-09-10T08:49:32Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。