論文の概要: Rethinking Robustness in Machine Learning: A Posterior Agreement Approach
- arxiv url: http://arxiv.org/abs/2503.16271v2
- Date: Fri, 17 Oct 2025 09:57:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.251596
- Title: Rethinking Robustness in Machine Learning: A Posterior Agreement Approach
- Title（参考訳）: 機械学習におけるロバスト性の再考:後続の合意アプローチ
- Authors: João Borges S. Carvalho, Victor Jimenez Rodriguez, Alessandro Torcinovich, Antonio E. Cinà, Carlos Cotrini, Lea Schönherr, Joachim M. Buhmann,
- Abstract要約: モデル検証の後方合意(PA)理論は、ロバストネス評価のための原則的な枠組みを提供する。
PAは、異なるシフト条件で学習アルゴリズムの脆弱性を信頼性のある分析を行う。
その結果,PAは精度に基づく尺度よりも高い差別性を提供する一方で,監督は不要であることが示唆された。
- 参考スコア（独自算出の注目度）: 41.50777631705435
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The robustness of algorithms against covariate shifts is a fundamental problem with critical implications for the deployment of machine learning algorithms in the real world. Current evaluation methods predominantly measure robustness through the lens of standard generalization, relying on task performance measures like accuracy. This approach lacks a theoretical justification and underscores the need for a principled foundation of robustness assessment under distribution shifts. In this work, we set the desiderata for a robustness measure, and we propose a novel principled framework for the robustness assessment problem that directly follows the Posterior Agreement (PA) theory of model validation. Specifically, we extend the PA framework to the covariate shift setting and propose a measure for robustness evaluation. We assess the soundness of our measure in controlled environments and through an empirical robustness analysis in two different covariate shift scenarios: adversarial learning and domain generalization. We illustrate the suitability of PA by evaluating several models under different nature and magnitudes of shift, and proportion of affected observations. The results show that PA offers a reliable analysis of the vulnerabilities in learning algorithms across different shift conditions and provides higher discriminability than accuracy-based measures, while requiring no supervision.
- Abstract（参考訳）: 共変量シフトに対するアルゴリズムの堅牢性は、実世界における機械学習アルゴリズムの展開に重要な意味を持つ根本的な問題である。
現在の評価手法は、標準一般化のレンズを通して、精度のようなタスクパフォーマンス測定に依存するロバストネスを主に測定する。
このアプローチには理論上の正当化が欠如しており、分散シフトの下でのロバストネス評価の原則的基礎の必要性が強調されている。
本研究では,デシラタをロバストネス尺度に設定し,モデル検証の後方合意(PA)理論に直従して,ロバストネス評価問題に対する新しい原理的枠組みを提案する。
具体的には,PAフレームワークを共変量シフト設定に拡張し,ロバスト性評価のための尺度を提案する。
制御された環境における測定値の音質評価と,2つの異なる共変量シフトシナリオにおける経験的ロバストネス分析により,対向学習と領域一般化の両立を図った。
本研究では, 異なる性質, 変化の大きさの異なる複数のモデルと, 影響した観測の比率を評価した結果, PAの適合性について述べる。
その結果、PAは異なるシフト条件で学習アルゴリズムの脆弱性を信頼性良く分析し、監督を必要とせず、精度に基づく測定よりも高い識別性を提供することがわかった。
関連論文リスト
- Uncertainty Sets for Distributionally Robust Bandits Using Structural Equation Models [0.0]
分散的に堅牢な評価と学習のための現在の手法は、過度に保守的な評価と政策を生み出している。
本研究では,特定の問題に対する不確実性を考慮したバンドレート評価と学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-04T18:29:29Z) - TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
OOD検出のための理論駆動型不確実性推定器TULiPを提案する。
本手法では,収束前にネットワークに適用される仮説的摂動を考察する。
提案手法は,特に近分布試料について,最先端の性能を示す。
論文 参考訳（メタデータ） (2025-05-22T17:16:41Z) - A Meta-learner for Heterogeneous Effects in Difference-in-Differences [17.361857058902494]
条件付き平均処理効果(CATT)の評価のための二重頑健なメタラーナを提案する。
我々のフレームワークは、汎用機械学習を用いて、興味のある変数の任意のサブセットを条件付ける際に、CATTの柔軟な推定を可能にする。
論文 参考訳（メタデータ） (2025-02-07T07:04:37Z) - Exogenous Matching: Learning Good Proposals for Tractable Counterfactual Estimation [1.9662978733004601]
本稿では, 抽出可能かつ効率的な対実表現推定のための重要サンプリング手法を提案する。
対物推定器の共通上限を最小化することにより、分散最小化問題を条件分布学習問題に変換する。
構造因果モデル (Structure Causal Models, SCM) の様々なタイプと設定による実験による理論的結果の検証と, 対実推定タスクにおける性能の実証を行った。
論文 参考訳（メタデータ） (2024-10-17T03:08:28Z) - Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。
一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。
一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
論文 参考訳（メタデータ） (2024-07-09T09:36:37Z) - From Adversarial Arms Race to Model-centric Evaluation: Motivating a
Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。
既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。
我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-29T14:55:20Z) - Post Reinforcement Learning Inference [22.117487428829488]
強化学習アルゴリズムから収集したデータを用いた推定と推定について検討する。
本稿では,時間変化の分散を安定化させるために,適応重みを慎重に設計した重み付きZ推定手法を提案する。
主な応用は、動的処理効果推定と動的オフポリシー評価である。
論文 参考訳（メタデータ） (2023-02-17T12:53:15Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳（メタデータ） (2021-06-24T15:58:01Z) - Uncertainty Characteristics Curves: A Systematic Assessment of
Prediction Intervals [19.463453475394758]
回帰タスクでは、不確実性は通常、特定の操作点に調整された予測間隔を用いて定量化される。
本稿では,予測区間に対する新しい動作点評価手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T23:46:44Z) - Performance Evaluation of Adversarial Attacks: Discrepancies and
Solutions [51.8695223602729]
機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。
本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。
psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
論文 参考訳（メタデータ） (2021-04-22T14:36:51Z) - FAR: A General Framework for Attributional Robustness [42.49606659285249]
我々は、ロバストな属性を持つモデルの帰属的ロバストネス(FAR)のための新しいフレームワークを定義する。
FARは,既存のトレーニング手法の一般化,制約の少ない定式化であることを示す。
次に、このフレームワークの2つの新しいインスタンス化であるAATとAdvAATを提案し、ロバストな属性と予測の両方を直接最適化する。
論文 参考訳（メタデータ） (2020-10-14T20:33:00Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳（メタデータ） (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。