論文の概要: PAC--Bayes Bounds on Quotient Parameter Spaces: Geometry-induced Implicit-Bias Priors

• arxiv url: http://arxiv.org/abs/2607.18422v1
• Date: Mon, 20 Jul 2026 18:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.212343
• Title: PAC--Bayes Bounds on Quotient Parameter Spaces: Geometry-induced Implicit-Bias Priors
• Title（参考訳）: 定性的パラメータ空間上のPAC-Bayes境界:幾何誘起インプリシットバイアス優先
• Abstract要約: 我々は,PAC-ベイジアン解析を商予測空間上で行うべきであることを示す。 我々は,各予測器に対して1つのパラメータ化の標準的選択を構築し,その等価パラメータ化の幾何体積を考慮に入れた。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterized models often have continuous parameter symmetries, so different parameters define the same predictor. We show that PAC--Bayesian analysis should be performed on the quotient predictor space: pushing a prior and posterior to the quotient preserves the empirical and population Gibbs risks while removing the nonnegative KL contribution caused solely by how the two distributions differ among parameterizations of the same predictor. Quotienting alone does not determine which prior to use. We construct a canonical choice of one parameterization for each predictor and account for the geometric volume of its equivalent parameterizations. This transforms a neutral reference prior into a data-independent prior that reflects the model's implicit bias. It approximates the ideal but inadmissible posterior-matched prior, which would minimize the KL term by depending on the training data. The resulting certificate is tighter exactly when this geometry-induced prior has smaller KL divergence from the learned quotient posterior than the neutral prior. We test this prediction in Fourier regression with a Hadamard parameterization and in Query-Key attention, using ordinary SGD without an explicit regularizer. The implicit-bias prior reduces the mean quotient-space KL by \(40.69\%\) and the mean PAC--Bayes certificate by \(21.40\%\) in the Fourier-Hadamard experiment. The smaller, prior-scale-dependent improvement in Query-Key attention confirms the predicted conditional nature of the effect.
• Abstract（参考訳）: 過パラメータ化モデルはしばしば連続パラメータ対称性を持つので、異なるパラメータは同じ予測子を定義する。 我々は, PAC-Bayesian解析は, 推定値空間上で実施されるべきであることを示す: 前と後を商値に押すと, 経験的, 人口的リスクが保たれるが, 2つの分布が同一予測値のパラメータ化にどのように異なるかによってのみ引き起こされる非負のKL寄与を除去する。 クオシエントだけでは、どれを使うかは決定できない。 我々は,各予測器に対して1つのパラメータ化の標準的選択を構築し,その等価パラメータ化の幾何体積を考慮に入れた。 これは、モデルの暗黙のバイアスを反映するデータ非依存の参照に、前もって中立的な参照を変換する。 これは、理想的だが許容できない後方マッチングを近似し、トレーニングデータに依存することでKL項を最小化する。 結果として得られる証明は、この幾何によって引き起こされた事前が、学習された商の後方からのKLの発散が中立の先行よりも小さいとき、正確にはより厳密である。 我々は,この予測をアダマールパラメータ化を用いてフーリエ回帰で検証し,通常のSGDを明示的な正規化子を使わずにクエリキーアテンションで検証する。 暗黙バイアスは、平均商空間 KL を \(40.69\%\) で、平均PAC-Bayes 証明書を \(21.40\%\) でフーリエ・アダマールの実験で減少させる。 Query-Keyアテンションのより小さく、事前スケール依存的な改善は、その効果の予測条件性を確認する。

関連論文リスト

• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Quasi-Bayes meets Vines [2.3124143670964448]
  我々は、スクラーの定理を用いて、準ベイズ予想を高次元に拡張する別の方法を提案する。 提案した準ベイジアンVine (QB-Vine) は完全に非パラメトリックな密度推定器であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T16:31:02Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• The Choice of Noninformative Priors for Thompson Sampling in Multiparameter Bandit Models [56.31310344616837]
  トンプソンサンプリング(TS)は、様々な報酬モデルにまたがる理論的な保証によって支持される卓越した経験的性能で知られている。 本研究では,理論的理解の欠如のある新しいモデルを扱う際に,非形式的事前選択がTSの性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2023-02-28T08:42:42Z)
• Semiparametric inference using fractional posteriors [3.9599054392856483]
  半パラメトリックな不確実性定量化を行うことができるが,その大きさは膨大であることを示す。 さらに、正則性条件下で最適なサイズを持つ効率的な信頼度セットであるイシフテッド・アンド・リスケールされた分数化後続集合を提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:23:36Z)
• Square Root Marginalization for Sliding-Window Bundle Adjustment [53.34552451834707]
  実時間オドメトリーに適合する新しい正方形根のすべり窓束の調整法を提案する。 提案した平方根辺化は、ヘシアン上でのシュール補数(SC)の従来の使用と代数的に等価であることを示す。 実世界のデータセットにおける視覚的および視覚的慣性オドメトリーの評価は,提案した推定器がベースラインよりも36%高速であることを示す。
  論文  参考訳（メタデータ） (2021-09-05T23:22:38Z)
• Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
  我々は,真の回帰パラメータの構造が果たす役割を考察する。 有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。 これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
  論文  参考訳（メタデータ） (2020-06-11T13:00:21Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。