論文の概要: CAuSE: Decoding Multimodal Classifiers using Faithful Natural Language Explanation
- arxiv url: http://arxiv.org/abs/2512.06814v1
- Date: Sun, 07 Dec 2025 12:15:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.543155
- Title: CAuSE: Decoding Multimodal Classifiers using Faithful Natural Language Explanation
- Title(参考訳): CAuSE: 忠実な自然言語記述を用いたマルチモーダル分類器のデコード
- Authors: Dibyanayan Bandyopadhyay, Soham Bhattacharjee, Mohammed Hasanuzzaman, Asif Ekbal,
- Abstract要約: 我々は,事前訓練されたマルチモーダル分類器に対して忠実なNLEを生成する新しいフレームワークであるCAuSE(Causal Abstraction under Simulated Explanations)を提案する。
我々は、CAuSEが広範囲な経験的評価を通じてデータセットやモデルにまたがる一般化を実証する。
さらに、マルチモーダル設定における因果的忠実度を測定するために、再設計された基準によってこれを検証する。
- 参考スコア(独自算出の注目度): 46.9286703847151
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal classifiers function as opaque black box models. While several techniques exist to interpret their predictions, very few of them are as intuitive and accessible as natural language explanations (NLEs). To build trust, such explanations must faithfully capture the classifier's internal decision making behavior, a property known as faithfulness. In this paper, we propose CAuSE (Causal Abstraction under Simulated Explanations), a novel framework to generate faithful NLEs for any pretrained multimodal classifier. We demonstrate that CAuSE generalizes across datasets and models through extensive empirical evaluations. Theoretically, we show that CAuSE, trained via interchange intervention, forms a causal abstraction of the underlying classifier. We further validate this through a redesigned metric for measuring causal faithfulness in multimodal settings. CAuSE surpasses other methods on this metric, with qualitative analysis reinforcing its advantages. We perform detailed error analysis to pinpoint the failure cases of CAuSE. For replicability, we make the codes available at https://github.com/newcodevelop/CAuSE
- Abstract(参考訳): マルチモーダル分類器は不透明なブラックボックスモデルとして機能する。
予測を解釈する技法はいくつか存在するが、自然言語の説明(NLE)と同じくらい直感的でアクセスしやすいものはほとんどない。
信頼を構築するためには、そのような説明は分類者の内部決定行動、すなわち忠実さと呼ばれる特性を忠実に捉えなければならない。
本稿では、事前訓練されたマルチモーダル分類器に対して忠実なNLEを生成する新しいフレームワークであるCAuSE(Causal Abstraction under Simulated Explanations)を提案する。
我々は、CAuSEが広範囲な経験的評価を通じてデータセットやモデルにまたがる一般化を実証する。
理論的には、交流介入によって訓練されたCAuSEが、基礎となる分類器の因果的抽象化を形成することを示す。
さらに、マルチモーダル設定における因果的忠実度を測定するために、再設計された基準によってこれを検証する。
CAuSEはこの計量の他の手法を超越し、定性的分析はその利点を補強する。
本稿では,CAuSEの故障事例を特定するために,詳細なエラー解析を行う。
複製性については、https://github.com/newcodevelop/CAuSEで公開しています。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - FeCAM: Exploiting the Heterogeneity of Class Distributions in
Exemplar-Free Continual Learning [21.088762527081883]
Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。
第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。
凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
論文 参考訳(メタデータ) (2023-09-25T11:54:33Z) - Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z) - Toward a Theory of Causation for Interpreting Neural Code Models [49.906221295459275]
本稿では,ニューラルコードモデル(NCM)に特化したポストホック解釈法である$do_code$を紹介する。
$do_code$は、言語指向の説明を可能にする因果推論に基づいている。
その結果,NCMはコード構文の変化に敏感であることが判明した。
論文 参考訳(メタデータ) (2023-02-07T22:56:58Z) - A Convolutional Deep Markov Model for Unsupervised Speech Representation
Learning [32.59760685342343]
確率的潜在変数モデルは、音声からの言語表現学習のための自己教師付き学習アプローチの代替を提供する。
本研究では,深いニューラルネットワークによってモデル化された非線形放出と遷移関数を持つガウス状態空間モデルであるConvDMMを提案する。
大規模音声データセット(LibriSpeech)で訓練すると、ConvDMMは複数の自己教師付き特徴抽出法よりもはるかに優れた特徴を生成する。
論文 参考訳(メタデータ) (2020-06-03T21:50:20Z) - Bayes-TrEx: a Bayesian Sampling Approach to Model Transparency by
Example [9.978961706999833]
フレキシブルなモデル検査フレームワークであるBayes-TrExを紹介します。
データ分布を仮定すると、Bayes-TrEx は特定の予測信頼度を持つ分布内例を見つける。
このフレームワークは、単にテストセットを検査するだけでなく、より柔軟な全体論的モデル解析を可能にする。
論文 参考訳(メタデータ) (2020-02-19T15:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。