論文の概要: Generalization Bounds via Vector-Valued $L_p$ Correlation $V_α$
- arxiv url: http://arxiv.org/abs/2610.29425v1
- Date: Wed, 21 Oct 2026 08:49:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.294706
- Title: Generalization Bounds via Vector-Valued $L_p$ Correlation $V_α$
- Title（参考訳）: ベクトル値$L_p$相関$V_α$による一般化境界
- Abstract要約: 依存項は, 総変動(TV)が$=1$, ばらつきが$$2$, 関連行動が$=2$であることを示す。
2$ の場合、ハルダー共役損失モーメントは 2 未満であり、損失分散が無限である場合でも有限であるような重尾の特殊化が得られる。
そこで我々は,この枠組みをスーパーサンプルを用いた条件定式化(CMI)に拡張し,信頼度を推定するための実用的なサロゲートとして,出力空間における評価について議論する。
- 参考スコア（独自算出の注目度）: 4.600772894287279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding generalization of randomized learning algorithms remains a central challenge. Mutual-information and total-variation bounds provide complementary ways to quantify data--hypothesis dependence, but they can behave quite differently in high-dimensional regimes. We study a one-parameter family of dependence measures, the vector-valued $L_p$-norm correlation $V_α$, and derive generalization bounds whose dependence terms interpolate between total variation (TV) at $α=1$ and variance and $χ^2$ related behavior at $α=2$. For $α>2$, the Hölder-conjugate loss moment is below two, yielding heavy-tailed specializations that can remain finite even when the loss variance is infinite. A particularly interpretable specialization occurs at $α=2$, where the bound can be expressed in terms of the variability of the algorithm's output density across datasets, $\int \sqrt{\mathrm{Var}_S[p(w\mid S)]}~ dw$. We show that the entire $V_α$ family is invariant under smooth bijective reparameterizations of the hypothesis space. We also introduce an adaptive density stability (ADS) condition that implies explicit control of $V_2$, and we verify it for Gibbs-type posteriors under bounded losses (yielding rates that depend on the inverse temperature and sample size). To address scaling, we extend the framework to a conditional formulation using supersamples, analogous in spirit to conditional mutual information (CMI), and discuss evaluations in the output space as a practical surrogate for estimating dependence. Simulations on Bayesian linear regression illustrate how tuning $α$ can change the tightness of the resulting bounds across regimes. Additional supersample experiments on noisy MNIST and on a pretrained ResNet-50 for CIFAR-10 show similar behavior of the projected loss-space bounds beyond the original clean-MNIST setting.
- Abstract（参考訳）: ランダム化学習アルゴリズムの一般化を理解することは、依然として中心的な課題である。
相互情報および全変量境界は、データ-仮説依存を定量化するための相補的な方法を提供するが、それらは高次元のレジームにおいて全く異なる振る舞いをする。
ベクトル値の$L_p$-ノルム相関は$V_α$であり、従属項が総変分(TV)を$α=1$で補間し、分散を$α=2$で関連づける一般化境界を導出する。
α>2$ の場合、ヘルダー共役損失モーメントは 2 未満であり、損失分散が無限である場合でも有限であるような重尾の特殊化が得られる。
特に解釈可能な特殊化は$α=2$で行われ、この境界はデータセット間でのアルゴリズムの出力密度のばらつき、$\int \sqrt{\mathrm{Var}_S[p(w\mid S)] ~ dw$ で表される。
V_α$族全体は、仮説空間の滑らかな単射再パラメータ化の下で不変であることを示す。
また, 適応密度安定性 (ADS) 条件を導入し, 逆温度と試料サイズに依存する収率) で, ギブス型後円板に対して, 比例値$V_2$の明示的な制御を示す。
スケーリングに対処するため,本フレームワークをスーパーサンプルを用いた条件定式化(CMI)に拡張し,信頼度を推定するための実用的なサロゲートとして出力空間の評価について議論する。
ベイズ線形回帰に関するシミュレーションは、$α$のチューニングがレジーム間の結果の境界の厳密性をどのように変えるかを示している。
CIFAR-10用のノイズMNISTと事前訓練されたResNet-50に関する追加のスーパーサンプル実験は、元々のクリーンMNIST設定を超えて、投射された損失空間境界の類似した挙動を示している。
関連論文リスト
- Improved Private Sparse Covariance Estimation with Multiscale Threshold Tests [19.221722169368494]
サンプル複雑性$ot(k2/2+ksqrt d/(varepsilon)$ for $(varepsilon,)$-differential privacy and error at most $2$。
境界は、既存の$ot(k2/2+k3/2sqrt d/(varepsilon))$ citepkumar2026上界のプライバシー依存項を$sqrt k$で改善し、一致させる。
論文 参考訳（メタデータ） (2026-09-19T05:31:47Z) - Non-Asymptotic Variational Learning for Monotone Nonlinear Multiscale Elliptic Equations: Scale-Robust Primal-Dual Bounds and Strong-Form Statistical Ill-Conditioning [0.0]
我々は、一様非線形多スケール楕円型方程式の変分物理学インフォームド近似に対する非漸近近似、サンプリング、有限点最適化理論を開発した。
境界整合性ニューロ特徴クラスでは、集団誤差は近似、経験的四分法、投影的次数項に分けられ、全ての非近似定数は顕微鏡スケール(ヴァレプシロン)で均一である。
論文 参考訳（メタデータ） (2026-07-17T07:26:29Z) - Statistical inverse learning and $\ell^1$-regularization [0.27998963147546135]
統計的逆学習の枠組みにおいて,有限,雑音,間接的な観測からスパース関数の回復について検討した。
我々は、ほぼ公約指数を確立し、予測基準と$ell1$復元基準の両方において、非漸近的高確率収束率を導出する。
論文 参考訳（メタデータ） (2026-07-08T14:32:08Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Anisotropic local law for non-separable sample covariance matrices [10.181748307494608]
サンプル共分散行列の局所法則を$K = N-1sum_i=1N g_ig_ig_i*$ とすると、Rn$ の確率ベクトル $g_1, ldots, g_N は共通共分散$$と独立である。
我々は,条件付き平均ゼロ分布,ランダム特徴モデル$g = (Xw)$,ガウス測度など,我々の仮定を満たす非分離例のクラスについて論じる。
論文 参考訳（メタデータ） (2026-02-20T03:28:51Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。