論文の概要: Anytime PAC-Bayes for Constrained Density-Ratio Networks under Covariate Shift
- arxiv url: http://arxiv.org/abs/2605.17212v2
- Date: Thu, 21 May 2026 18:25:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:19.98407
- Title: Anytime PAC-Bayes for Constrained Density-Ratio Networks under Covariate Shift
- Title(参考訳): 共変量シフト下における拘束密度比ネットワークの任意のPACベイ
- Authors: Paulo Akira F. Enabe,
- Abstract要約: PAC-Bayesはベルヌーイ-KL境界を生じる固定時間状態の重み付けリスクに基づいてインスタンス化される。
実データデプロイメントによる解析的基盤真理に対するパッチテストは、フレームワークを検証します。
単一の固定時間カバレッジ障害が記録され、スプリット単位のカバレッジがラベルシフトの大きさと一致している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A unified framework for learning under covariate shift is presented, in which a constrained density-ratio network approximates the Radon-Nikodym derivative $r^\star = dP/dQ$ and feeds an anytime PAC-Bayes generalization certificate. A change-of-measure identity decomposes the gap between target risk and importance-weighted source risk into a ratio-bias term governed by $\|r_θ- r^\star\|_{L^2(Q)}$ and a generalization-gap term governed by the variability of the weighted loss. Normalization and moment-matching identities are enforced as hard integral constraints through an augmented-Lagrangian scheme, with a second-moment penalty controlling the effective sample size. PAC-Bayes is instantiated on the weighted risk in a fixed-time regime that yields Bernoulli-KL bounds, identifies the network-weighted Gibbs posterior as the unique KL-regularized minimizer, and quantifies stability under $L^2(Q)$ perturbations of the learned ratio, and is then strengthened by geometric peeling to an anytime certificate uniform in $t \geq t_{\min}$. A pre-registered two-campaign protocol combining a patch test against analytic ground truth with a real-data deployment validates the framework: the network produces calibrated ratios, reduces target $0/1$ loss against unweighted ERM and classical direct ratio-estimation baselines, and attains the anytime certificate. A single fixed-time coverage failure is recorded, with per-split coverage aligning one-to-one with the magnitude of the label shift, confirming that the covariate-only assumption is operationally tight rather than a defect of the certificate.
- Abstract(参考訳): 共変量シフトの下で学習するための統一的なフレームワークを示し、制約付き密度比ネットワークはラドン-ニコディム微分 $r^\star = dP/dQ$ に近似し、任意のPAC-Bayes一般化証明を与える。
測定単位の変更は、目標リスクと重み付きソースリスクの間のギャップを$\|r_θ- r^\star\|_{L^2(Q)}$と重み付き損失の変動によって支配される一般化ギャップ項に分解する。
正規化とモーメントマッチングのアイデンティティは、拡張ラグランジアンスキームによってハードインテリジェンス制約として強制され、有効サンプルサイズを制御する第2モーメントペナルティが適用される。
PAC-Bayesはベルヌーイ-KL境界を生じる固定時間体制の重み付きリスクに基づいてインスタンス化され、ネットワーク重み付きギブズ後部を独自のKL正規化最小化器として同定し、学習された比率の摂動$$L^2(Q)$で安定性を定量化し、その後、$t \geq t_{\min}$の任意の時刻証明書に幾何学的剥離により強化される。
ネットワークはキャリブレーションされた比率を生成し、未処理のERMと古典的な直接比推定ベースラインに対して0/1$の損失を減らし、任意のタイム証明書を取得する。
単一の固定時間カバレッジ障害が記録され、ラベルシフトの大きさと1対1のカバレッジが一致し、共変量のみの仮定が証明書の欠陥よりも操作的に厳しいことが確認される。
関連論文リスト
- Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration [20.21455697379946]
そこで我々は,列車チューンキャリブレート設計の原則としてデカップリング・コンフォーマル最適化(DCO)を提案する。
DCOは、効率指向構造選択のために独立したチューニングスプリットと、最終共形量子化のための新鮮なキャリブレーションスプリットを使用する。
DCOは,PACスタイルのキャリブレーションに対して,平均予測セットサイズや間隔幅を小さくしながら,名目カバレッジレベルを密に追跡する。
論文 参考訳(メタデータ) (2026-05-18T13:10:21Z) - Disagreement-Regularized Importance Sampling for Adversarial Label Corruption [3.0416928830191066]
Disagreement-Regularized Importance Smpling (DR-IS)は、独立したプロキシアンサンブル間での損失ランクの分類に基づくサブサンプリング手法である。
DR-ISは、ベンチマークデータセット上のError $L$-norm (EL2N)のようなマグニチュードベースのメソッドを壊すターゲットの高いノーム攻撃の下で堅牢である。
論文 参考訳(メタデータ) (2026-05-08T10:27:51Z) - Non-monotonicity in Conformal Risk Control [4.71350885287928]
コンフォーマルリスク制御(CRC)は、ユーザ指定レベルでの期待損失を制御するための、配布不要の保証を提供する。
有限格子からチューニングパラメータを選択する際に, CRC を非単調な損失関数で検討する。
単調性のないCRCの妥当性は, キャリブレーション試料サイズとグリッド分解能の関係に依存することを示す。
論文 参考訳(メタデータ) (2026-04-02T00:26:50Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳(メタデータ) (2026-03-24T17:39:09Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳(メタデータ) (2026-02-24T05:32:03Z) - Concave Certificates: Geometric Framework for Distributionally Robust Risk and Complexity Analysis [0.7106986689736828]
分散ロバスト(DR)最適化は、ワッサーシュタインの不確実性集合内の最悪のケースリスクの証明を目的としている。
本稿では,成長速度関数の最小長元に基づく新しい幾何学的枠組みを提案する。
この枠組みを複雑性解析に拡張し、標準的な統計的境界を補完する決定論的境界を導入する。
論文 参考訳(メタデータ) (2026-01-04T00:24:43Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳(メタデータ) (2025-12-01T09:44:31Z) - Wasserstein-regularized Conformal Prediction under General Distribution Shift [21.29977879431466]
等式予測は、i.d.仮定の下で真のターゲットの1-alpha$カバレッジが保証された予測セットを生成する。
本稿では、ワッサーシュタイン距離に基づくカバレッジギャップの上界を提案し、確率測度をプッシュフォワードで解析する。
本稿では,重要重み付けと正規化表現学習(WR-CP)に基づくアルゴリズム設計のための分離を利用して,有限サンプル誤差境界のワッサーシュタイン境界を低減する。
論文 参考訳(メタデータ) (2025-01-23T07:29:44Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。
DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。
有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文 参考訳(メタデータ) (2021-02-23T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。