論文の概要: Explanation-based Counterfactual Retraining(XCR): A Calibration Method
for Black-box Models
- arxiv url: http://arxiv.org/abs/2206.11126v1
- Date: Wed, 22 Jun 2022 14:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 15:28:53.942211
- Title: Explanation-based Counterfactual Retraining(XCR): A Calibration Method
for Black-box Models
- Title(参考訳): 説明に基づく反事実再訓練(xcr) : ブラックボックスモデルのキャリブレーション法
- Authors: Liu Zhendong, Wenyu Jiang, Yi Zhang, Chongjun Wang
- Abstract要約: 過去の研究の長い行は、摂動に基づくポストホックXAIモデルにおけるOOD(Out-of-Distribution)問題に対する懸念を示している。
特徴を高速に抽出するeXplanation-based Counterfactual Retraining (XCR)を提案する。
XCRは、XAIモデルによって生成された説明を、OODと社会的な不整合問題に対処するためにブラックボックスモデルを再訓練するために、反実的な入力として適用する。
- 参考スコア(独自算出の注目度): 7.280460748655983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of eXplainable Artificial Intelligence (XAI), a
long line of past work has shown concerns about the Out-of-Distribution (OOD)
problem in perturbation-based post-hoc XAI models and explanations are socially
misaligned. We explore the limitations of post-hoc explanation methods that use
approximators to mimic the behavior of black-box models. Then we propose
eXplanation-based Counterfactual Retraining (XCR), which extracts feature
importance fastly. XCR applies the explanations generated by the XAI model as
counterfactual input to retrain the black-box model to address OOD and social
misalignment problems. Evaluation of popular image datasets shows that XCR can
improve model performance when only retaining 12.5% of the most crucial
features without changing the black-box model structure. Furthermore, the
evaluation of the benchmark of corruption datasets shows that the XCR is very
helpful for improving model robustness and positively impacts the calibration
of OOD problems. Even though not calibrated in the validation set like some OOD
calibration methods, the corrupted data metric outperforms existing methods.
Our method also beats current OOD calibration methods on the OOD calibration
metric if calibration on the validation set is applied.
- Abstract(参考訳): eXplainable Artificial Intelligence (XAI) の急速な発展に伴い、過去の研究は摂動に基づくポストホックXAIモデルにおけるアウト・オブ・ディストリビューション(OOD)問題への懸念を示し、説明は社会的に誤解されている。
近似子を用いてブラックボックスモデルの挙動を模倣するポストホックな説明法の限界を検討する。
次に,eXplanation-based Counterfactual Retraining (XCR)を提案する。
xcrはxaiモデルによって生成された説明を偽の入力として適用し、ブラックボックスモデルを再訓練し、オードや社会的不均衡問題に対処する。
一般的な画像データセットの評価では、ブラックボックスモデル構造を変更することなく、最も重要な機能の12.5%しか保持していない場合、XCRはモデル性能を改善することができる。
さらに, 評価結果から, XCRはモデルロバスト性の向上に有効であり, OOD問題の校正に肯定的な影響を及ぼすことが示された。
OODキャリブレーション法のような検証セットでは校正されていないが、破損したデータメートル法は既存の手法よりも優れている。
また,評価セットの校正が適用されれば,OOD校正基準の現在のOOD校正手法を破る。
関連論文リスト
- Calibrated Uncertainties for Neural Radiance Fields [66.06029344664061]
我々は、NeRFモデルから不確実性を校正する最初の方法を提案する。
まず、パッチサンプリングに基づいて、各シーンに対して2つのNeRFモデルをトレーニングする。
第二に、一つのNeRFモデルのトレーニングのみを必要とする新しいメタキャリブレータである。
論文 参考訳(メタデータ) (2023-12-04T21:29:31Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [83.06807954664431]
我々は、最先端の頑健な微調整が、事前訓練された視覚言語モデルの校正を損なうことを示す。
ドメイン間のIDキャリブレーションとロバスト予測をインセンティブとするキャリブレーション型ロバスト微調整法であるCaRotを提案する。
論文 参考訳(メタデータ) (2023-11-03T05:41:25Z) - MaxEnt Loss: Constrained Maximum Entropy for Calibration under
Out-of-Distribution Shift [1.7089623113272014]
本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。
トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
論文 参考訳(メタデータ) (2023-10-26T05:10:57Z) - Calibration in Deep Learning: A Survey of the State-of-the-Art [7.6087138685470945]
ディープニューラルネットワークのキャリブレーションは、安全クリティカルなアプリケーションにおいて、信頼性が高く堅牢なAIシステムを構築する上で重要な役割を果たす。
近年の研究では、予測能力の高い現代のニューラルネットワークは、キャリブレーションが不十分であり、信頼性の低いモデル予測を生成することが示されている。
論文 参考訳(メタデータ) (2023-08-02T15:28:10Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。
我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
論文 参考訳(メタデータ) (2022-10-10T15:41:44Z) - Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。
このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。
我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文 参考訳(メタデータ) (2022-06-23T03:25:23Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。