論文の概要: Robust to Which Model Change? A Unified Evaluation of Robust Counterfactual Explanations
- arxiv url: http://arxiv.org/abs/2609.30918v2
- Date: Mon, 28 Sep 2026 08:00:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-29 21:31:51.81811
- Title: Robust to Which Model Change? A Unified Evaluation of Robust Counterfactual Explanations
- Title(参考訳): モデル変更のロバスト化 : ロバスト非現実的説明の統一評価
- Abstract要約: 我々は,同じ8種類のモデル変更に対して,すべてのメソッドをテストしながら,実例と生成した反ファクトを固定した一貫したクロスファミリー評価プロトコルを提案する。
相対的なパフォーマンスと障害モードは、変化家族によって異なります。
我々は、ロバストなCFE手法は、モデル変更を特定し、その実現された行動規模を測定し、ロバスト性とは別個の生成性能を維持する共通のプロトコルを通じて評価されるべきであると主張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust counterfactual explanations promise recourse that still works after the model behind it changes. Whether they keep that promise depends on what the change is. A small perturbation of the parameters, retraining on new data, and a new architecture are different events, and each existing method is evaluated against the one it was built for. Reported robustness scores, therefore, answer different questions and cannot be compared. We propose a unified cross-family evaluation protocol that holds factual instances and generated counterfactuals fixed while testing every method against the same eight types of model change. The benchmark compares six robust methods and two standard baselines on four tabular datasets. It characterizes every changed classifier through its outputs and reports empirical robustness together with coverage, base validity, and proximity. We find that relative performance and failure modes vary across change families. Bounded parameter perturbations change 0.95\% of test predictions on average, compared with 4.9\% for bootstrap retraining. Methods with guarantees for these perturbations do not necessarily transfer to other changes. RobX transfers most consistently in our experiments, although greater stability can require larger interventions. We argue that robust CFE methods should be evaluated through a common protocol that specifies the model changes, measures their realized behavioral magnitude, and keeps generation performance separate from robustness.
- Abstract(参考訳): ロバストな反事実的説明は、背後にあるモデルが変化した後でも機能する、と約束する。
彼らがその約束を守るかどうかは、その変化が何であるかにかかっている。
パラメータの小さな摂動、新しいデータの再トレーニング、新しいアーキテクチャは異なるイベントであり、それぞれの既存メソッドが構築されたものに対して評価される。
報告された堅牢性スコアは、異なる質問に答え、比較できない。
我々は,同じ8種類のモデル変更に対して,すべてのメソッドをテストしながら,実例と生成した反ファクトを固定した一貫したクロスファミリー評価プロトコルを提案する。
ベンチマークでは、4つのグラフデータセットに対して6つの堅牢なメソッドと2つの標準ベースラインを比較している。
すべての変更された分類器をその出力で特徴付け、カバレッジ、ベース妥当性、近接性とともに経験的堅牢性を報告します。
相対的なパフォーマンスと障害モードは、変化家族によって異なります。
境界パラメータの摂動は平均で0.95 %、ブートストラップ再トレーニングでは4.9 %となる。
これらの摂動を保証するメソッドは、必ずしも他の変更に転送するとは限らない。
RobXは、我々の実験で最も一貫して転送するが、より大きな安定性はより大きな介入を必要とする可能性がある。
我々は、ロバストなCFE手法は、モデル変更を特定し、その実現された行動規模を測定し、ロバスト性とは別個の生成性能を維持する共通のプロトコルを通じて評価されるべきであると主張する。
関連論文リスト
- ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳(メタデータ) (2026-04-05T17:55:23Z) - Make Some Noise: Unsupervised Remote Sensing Change Detection Using Latent Space Perturbations [0.0]
リモートセンシングにおける教師なし変化検出(UCD)は、トレーニング中にラベル付きデータに頼ることなく、同一領域の2つの画像間の意味変化をローカライズすることを目的としている。
トレーニング中の潜在機能空間において,多様な変更を直接合成する,エンドツーエンドの UCD フレームワークである MaSoN を提案する。
ターゲットデータの特徴統計を用いて動的に推定される変更を生成し、ターゲットドメインと一致した多様なデータ駆動の変動を可能にする。
論文 参考訳(メタデータ) (2026-02-23T14:27:36Z) - SPARNet: Continual Test-Time Adaptation via Sample Partitioning Strategy and Anti-Forgetting Regularization [16.5927083825258]
TTA(Test-time Adaptation)は、モデルがデプロイ後にドメインの変更に遭遇した場合のパフォーマンスを改善することを目的としている。
単純な自己学習法で作られたノイズの多い擬似ラベルは、誤りの蓄積と破滅的な忘れを生じさせる可能性がある。
本稿では,サンプル分割戦略とアンチフォーゲッティング正規化という2つの部分からなる新しいフレームワークSPARNetを提案する。
論文 参考訳(メタデータ) (2025-01-01T12:19:17Z) - Trustworthy Actionable Perturbations [8.159697831570593]
そこで本研究では,真に根底にある確率を有益に変化させる改良された入力を生成するための新しいフレームワークを提案する。
これは、TAPが反対に振る舞うのではなく、真のクラス確率を変更することを保証する新しい検証手順を含む。
検証手順に対するPAC-Lrnabilityの結果を提示し,新たな報酬測定法を理論的に分析した。
論文 参考訳(メタデータ) (2024-05-18T06:14:00Z) - Robust Counterfactual Explanations for Tree-Based Ensembles [22.13493030333195]
我々は、木ベースのアンサンブルに対して堅牢なカウンターファクトを生成する新しい戦略、RobXを提案する。
まず最初に、カウンターファクトの安定性と呼ばれる新しいメトリクスを紹介します。これは、リトレーニング中の変更をモデル化するために、カウンターファクトの堅牢さを定量化するものです。
論文 参考訳(メタデータ) (2022-07-06T15:20:45Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳(メタデータ) (2022-07-05T14:55:16Z) - Safe Tests and Always-Valid Confidence Intervals for contingency tables
and beyond [69.25055322530058]
2つのデータストリームが同じソースから来るかどうかをテストするためのE変数を開発します。
これらのE変数は、オプションの停止や継続のようなフレキシブルなサンプリングシナリオの下で、安全であり続けるテストにつながる。
論文 参考訳(メタデータ) (2021-06-04T20:12:13Z) - Double Perturbation: On the Robustness of Robustness and Counterfactual
Bias Evaluation [109.06060143938052]
テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。
この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
論文 参考訳(メタデータ) (2021-04-12T06:57:36Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。