論文の概要: Explanation-based Counterfactual Retraining(XCR): A Calibration Method
for Black-box Models
- arxiv url: http://arxiv.org/abs/2206.11126v1
- Date: Wed, 22 Jun 2022 14:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 15:28:53.942211
- Title: Explanation-based Counterfactual Retraining(XCR): A Calibration Method
for Black-box Models
- Title（参考訳）: 説明に基づく反事実再訓練(xcr) : ブラックボックスモデルのキャリブレーション法
- Authors: Liu Zhendong, Wenyu Jiang, Yi Zhang, Chongjun Wang
- Abstract要約: 過去の研究の長い行は、摂動に基づくポストホックXAIモデルにおけるOOD(Out-of-Distribution)問題に対する懸念を示している。
特徴を高速に抽出するeXplanation-based Counterfactual Retraining (XCR)を提案する。
XCRは、XAIモデルによって生成された説明を、OODと社会的な不整合問題に対処するためにブラックボックスモデルを再訓練するために、反実的な入力として適用する。
- 参考スコア（独自算出の注目度）: 7.280460748655983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of eXplainable Artificial Intelligence (XAI), a
long line of past work has shown concerns about the Out-of-Distribution (OOD)
problem in perturbation-based post-hoc XAI models and explanations are socially
misaligned. We explore the limitations of post-hoc explanation methods that use
approximators to mimic the behavior of black-box models. Then we propose
eXplanation-based Counterfactual Retraining (XCR), which extracts feature
importance fastly. XCR applies the explanations generated by the XAI model as
counterfactual input to retrain the black-box model to address OOD and social
misalignment problems. Evaluation of popular image datasets shows that XCR can
improve model performance when only retaining 12.5% of the most crucial
features without changing the black-box model structure. Furthermore, the
evaluation of the benchmark of corruption datasets shows that the XCR is very
helpful for improving model robustness and positively impacts the calibration
of OOD problems. Even though not calibrated in the validation set like some OOD
calibration methods, the corrupted data metric outperforms existing methods.
Our method also beats current OOD calibration methods on the OOD calibration
metric if calibration on the validation set is applied.
- Abstract（参考訳）: eXplainable Artificial Intelligence (XAI) の急速な発展に伴い、過去の研究は摂動に基づくポストホックXAIモデルにおけるアウト・オブ・ディストリビューション(OOD)問題への懸念を示し、説明は社会的に誤解されている。
近似子を用いてブラックボックスモデルの挙動を模倣するポストホックな説明法の限界を検討する。
次に,eXplanation-based Counterfactual Retraining (XCR)を提案する。
xcrはxaiモデルによって生成された説明を偽の入力として適用し、ブラックボックスモデルを再訓練し、オードや社会的不均衡問題に対処する。
一般的な画像データセットの評価では、ブラックボックスモデル構造を変更することなく、最も重要な機能の12.5%しか保持していない場合、XCRはモデル性能を改善することができる。
さらに, 評価結果から, XCRはモデルロバスト性の向上に有効であり, OOD問題の校正に肯定的な影響を及ぼすことが示された。
OODキャリブレーション法のような検証セットでは校正されていないが、破損したデータメートル法は既存の手法よりも優れている。
また,評価セットの校正が適用されれば,OOD校正基準の現在のOOD校正手法を破る。
関連論文リスト
- Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
モデルキャリブレーションの代替視点として一貫性の概念を導入する。
本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。
また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
論文 参考訳（メタデータ） (2024-10-16T06:55:02Z) - Feature Clipping for Uncertainty Calibration [24.465567005078135]
現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。
この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。
FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
論文 参考訳（メタデータ） (2024-10-16T06:44:35Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳（メタデータ） (2023-11-03T05:41:25Z) - MaxEnt Loss: Constrained Maximum Entropy for Calibration under
Out-of-Distribution Shift [1.7089623113272014]
本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。
トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
論文 参考訳（メタデータ） (2023-10-26T05:10:57Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳（メタデータ） (2023-03-19T20:27:51Z) - Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection [67.49587673594276]
我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-21T08:45:08Z) - Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。
このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。
我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文 参考訳（メタデータ） (2022-06-23T03:25:23Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳（メタデータ） (2021-06-17T11:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。