論文の概要: Rethinking Robustness in Machine Learning: A Posterior Agreement Approach
- arxiv url: http://arxiv.org/abs/2503.16271v1
- Date: Thu, 20 Mar 2025 16:03:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:33:43.984424
- Title: Rethinking Robustness in Machine Learning: A Posterior Agreement Approach
- Title（参考訳）: 機械学習におけるロバスト性の再考:後続の合意アプローチ
- Authors: João Borges S. Carvalho, Alessandro Torcinovich, Victor Jimenez Rodriguez, Antonio E. Cinà, Carlos Cotrini, Lea Schönherr, Joachim M. Buhmann,
- Abstract要約: モデル検証の後方合意(PA)理論は、ロバストネス評価のための原則的な枠組みを提供する。
本稿では,PA尺度が学習アルゴリズムの脆弱性を,ほとんど観測されていない場合でも,合理的かつ一貫した分析を提供することを示す。
- 参考スコア（独自算出の注目度）: 45.284633306624634
- License:
- Abstract: The robustness of algorithms against covariate shifts is a fundamental problem with critical implications for the deployment of machine learning algorithms in the real world. Current evaluation methods predominantly match the robustness definition to that of standard generalization, relying on standard metrics like accuracy-based scores, which, while designed for performance assessment, lack a theoretical foundation encompassing their application in estimating robustness to distribution shifts. In this work, we set the desiderata for a robustness metric, and we propose a novel principled framework for the robustness assessment problem that directly follows the Posterior Agreement (PA) theory of model validation. Specifically, we extend the PA framework to the covariate shift setting by proposing a PA metric for robustness evaluation in supervised classification tasks. We assess the soundness of our metric in controlled environments and through an empirical robustness analysis in two different covariate shift scenarios: adversarial learning and domain generalization. We illustrate the suitability of PA by evaluating several models under different nature and magnitudes of shift, and proportion of affected observations. The results show that the PA metric provides a sensible and consistent analysis of the vulnerabilities in learning algorithms, even in the presence of few perturbed observations.
- Abstract（参考訳）: 共変量シフトに対するアルゴリズムの堅牢性は、実世界における機械学習アルゴリズムの展開に重要な意味を持つ根本的な問題である。
現在の評価手法は、ロバスト性の定義と標準一般化の定義とを主に一致させ、精度に基づくスコアのような標準的な指標に依存し、性能評価のために設計されているが、分布シフトに対するロバスト性を評価するための理論的な基礎が欠如している。
本研究では,デシラタをロバスト性指標に設定し,モデル検証の後方合意(PA)理論に直従して,ロバスト性評価問題に対する新しい原理的枠組みを提案する。
具体的には、教師付き分類タスクにおけるロバスト性評価のためのPAメトリックを提案することにより、PAフレームワークを共変量シフト設定に拡張する。
制御された環境におけるメトリックの音質と,2つの異なる共変量シフトシナリオ(逆学習と領域一般化)における経験的ロバストネス分析によって評価する。
本研究では, 異なる性質, 変化の大きさの異なる複数のモデルと, 影響した観測の比率を評価した結果, PAの適合性について述べる。
結果から,PA測定は学習アルゴリズムの脆弱性を,摂動的な観測がほとんどない場合でも,合理的かつ一貫した分析を可能にすることがわかった。
関連論文リスト
- A Meta-learner for Heterogeneous Effects in Difference-in-Differences [17.361857058902494]
条件付き平均処理効果(CATT)の評価のための二重頑健なメタラーナを提案する。
我々のフレームワークは、汎用機械学習を用いて、興味のある変数の任意のサブセットを条件付ける際に、CATTの柔軟な推定を可能にする。
論文 参考訳（メタデータ） (2025-02-07T07:04:37Z) - Exogenous Matching: Learning Good Proposals for Tractable Counterfactual Estimation [1.9662978733004601]
本稿では, 抽出可能かつ効率的な対実表現推定のための重要サンプリング手法を提案する。
対物推定器の共通上限を最小化することにより、分散最小化問題を条件分布学習問題に変換する。
構造因果モデル (Structure Causal Models, SCM) の様々なタイプと設定による実験による理論的結果の検証と, 対実推定タスクにおける性能の実証を行った。
論文 参考訳（メタデータ） (2024-10-17T03:08:28Z) - Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。
一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。
一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
論文 参考訳（メタデータ） (2024-07-09T09:36:37Z) - From Adversarial Arms Race to Model-centric Evaluation: Motivating a
Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。
既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。
我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-29T14:55:20Z) - Post Reinforcement Learning Inference [22.117487428829488]
強化学習アルゴリズムから収集したデータを用いた推定と推定について検討する。
本稿では,時間変化の分散を安定化させるために,適応重みを慎重に設計した重み付きZ推定手法を提案する。
主な応用は、動的処理効果推定と動的オフポリシー評価である。
論文 参考訳（メタデータ） (2023-02-17T12:53:15Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳（メタデータ） (2021-06-24T15:58:01Z) - Uncertainty Characteristics Curves: A Systematic Assessment of
Prediction Intervals [19.463453475394758]
回帰タスクでは、不確実性は通常、特定の操作点に調整された予測間隔を用いて定量化される。
本稿では,予測区間に対する新しい動作点評価手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T23:46:44Z) - Performance Evaluation of Adversarial Attacks: Discrepancies and
Solutions [51.8695223602729]
機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。
本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。
psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
論文 参考訳（メタデータ） (2021-04-22T14:36:51Z) - FAR: A General Framework for Attributional Robustness [42.49606659285249]
我々は、ロバストな属性を持つモデルの帰属的ロバストネス(FAR)のための新しいフレームワークを定義する。
FARは,既存のトレーニング手法の一般化,制約の少ない定式化であることを示す。
次に、このフレームワークの2つの新しいインスタンス化であるAATとAdvAATを提案し、ロバストな属性と予測の両方を直接最適化する。
論文 参考訳（メタデータ） (2020-10-14T20:33:00Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳（メタデータ） (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。