論文の概要: Towards Spatially-Aware and Optimally Faithful Concept-Based Explanations

• arxiv url: http://arxiv.org/abs/2504.10833v1
• Date: Tue, 15 Apr 2025 03:24:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-24 05:22:33.979364
• Title: Towards Spatially-Aware and Optimally Faithful Concept-Based Explanations
• Title（参考訳）: 空間的認識と最適信仰的概念に基づく説明に向けて
• Authors: Shubham Kumar, Dwip Dalal, Narendra Ahuja,
• Abstract要約: ポストホックで教師なしの概念に基づく説明法(U-CBEM)は、ディープニューラルネットワークにおける意思決定プロセスの意味論的説明を生成するための有望なツールである。 正確な評価を阻害する先行忠実度指標のいくつかの制限を同定する。 本研究では、空間的に認識された代理と2つの新しい忠実度指標を導入する評価手法であるSurrogate Faithfulness (SF)を用いて、これらの制限に対処する。
• 参考スコア（独自算出の注目度）: 9.34674232134837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-hoc, unsupervised concept-based explanation methods (U-CBEMs) are a promising tool for generating semantic explanations of the decision-making processes in deep neural networks, having applications in both model improvement and understanding. It is vital that the explanation is accurate, or faithful, to the model, yet we identify several limitations of prior faithfulness metrics that inhibit an accurate evaluation; most notably, prior metrics involve only the set of concepts present, ignoring how they may be spatially distributed. We address these limitations with Surrogate Faithfulness (SF), an evaluation method that introduces a spatially-aware surrogate and two novel faithfulness metrics. Using SF, we produce Optimally Faithful (OF) explanations, where concepts are found that maximize faithfulness. Our experiments show that (1) adding spatial-awareness to prior U-CBEMs increases faithfulness in all cases; (2) OF produces significantly more faithful explanations than prior U-CBEMs (30% or higher improvement in error); (3) OF's learned concepts generalize well to out-of-domain data and are more robust to adversarial examples, where prior U-CBEMs struggle.
• Abstract（参考訳）: ポストホックで教師なしの概念に基づく説明法(U-CBEM)は、ディープニューラルネットワークにおける意思決定プロセスの意味論的説明を生成するための有望なツールであり、モデルの改善と理解の両方に応用されている。 モデルに対する説明が正確であること、あるいは忠実であることは不可欠であるが、正確な評価を阻害する先行忠実度指標のいくつかの制限を特定する。 本研究では、空間的に認識された代理と2つの新しい忠実度指標を導入する評価手法であるSurrogate Faithfulness (SF)を用いて、これらの制限に対処する。 SFを用いてOF(Optimally Faithful)を説明する。 実験の結果,(1)先行U-CBEMに空間認識を加えると,すべてのケースにおいて忠実さが向上し,(2)先行U-CBEMよりもはるかに忠実な説明が得られ(30%以上の誤り改善),(3)先行U-CBEMが苦戦する敵の例に対して,OFの学習概念がより一般化され,堅牢であることがわかった。

関連論文リスト

• Uncertainty-aware Language Guidance for Concept Bottleneck Models [19.882022420045804]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力サンプルを高レベルのセマンティックな概念にマッピングし、次にこれらの概念を組み合わせて最終分類を行う。 しかしながら、人間に理解可能な概念のアノテーションは、CBMの広範な採用を制限し、幅広い専門知識と労力を必要とする。 提案手法は,LCMアノテートされた概念ラベルの不確実性を有効かつ分布のない保証で厳密に定量化するだけでなく,定量化された概念不確実性をCBM訓練手順に組み込む,新しい不確実性認識型CBM法を提案する。
  論文  参考訳（メタデータ） (2026-02-26T20:59:03Z)
• Journey Before Destination: On the importance of Visual Faithfulness in Slow Thinking [11.763473690046721]
  推論の拡張された視覚言語モデルは、より大きな能力と透明性を約束する明確な思考の連鎖を生成する。 モデルは、視覚的に不誠実な中間段階によって正しい答えに達するか、あるいは最終的な予測において、合理的に失敗する。 本稿では, 推論連鎖の知覚段階が画像中に存在するか否かに着目し, 推論鎖の視覚的忠実度を評価次元として紹介する。
  論文  参考訳（メタデータ） (2025-12-13T07:04:42Z)
• The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
  そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
  論文  参考訳（メタデータ） (2025-11-06T14:46:35Z)
• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
  FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。 我々の枠組みは差別的な決定問題として不誠実検出を定式化している。 FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2025-10-05T05:16:54Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Towards Robust and Reliable Concept Representations: Reliability-Enhanced Concept Embedding Model [22.865870813626316]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解可能な概念を意思決定の中間体として予測することにより、解釈可能性を高めることを目的としている。 概念に関係のない特徴に対する感受性と、異なるサンプルの同じ概念に対する意味的一貫性の欠如である。 本稿では,Reliability-Enhanced Concept Embedding Model (RECEM) を提案する。Reliability-Enhanced Concept Embedding Model (RECEM) は2つの戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-03T09:29:39Z)
• Concept-Based Explainable Artificial Intelligence: Metrics and Benchmarks [0.0]
  概念に基づく説明手法は、機械学習モデルの解釈可能性を改善することを目的としている。 本稿では,大域的重要度,概念存在度,概念位置度という3つの指標を提案する。 多くの場合、ポストホックCBMによって決定される最も重要な概念でさえ、入力画像には存在しないことが示される。
  論文  参考訳（メタデータ） (2025-01-31T16:32:36Z)
• Concept-driven Off Policy Evaluation [2.789652596206117]
  我々は、概念に基づくOPE推定器のファミリーを開発し、それらが偏りのないままであり、概念が知られ、事前定義されたときにばらつきを減らすことを証明した。 合成および実世界のデータセットを用いた実験により、既知のおよび学習された概念ベース推定器の両方がOPE性能を著しく向上させることが示された。 他のOPE法とは異なり、概念ベースの推定器は容易に解釈可能であり、特定の概念に対する標的的介入を可能にし、これらの推定器の品質をさらに向上させる。
  論文  参考訳（メタデータ） (2024-11-28T22:15:06Z)
• MulCPred: Learning Multi-modal Concepts for Explainable Pedestrian Action Prediction [57.483718822429346]
  MulCPredは、トレーニングサンプルで表されるマルチモーダルな概念に基づいて、その予測を説明する。 MulCPredは複数のデータセットとタスクで評価される。
  論文  参考訳（メタデータ） (2024-09-14T14:15:28Z)
• Rethinking State Disentanglement in Causal Reinforcement Learning [78.12976579620165]
  因果性は、根底にある状態が識別可能性によって一意に回復できることを保証するための厳密な理論的支援を提供する。 我々はこの研究ラインを再考し、RL固有のコンテキストを取り入れることで、潜在状態に対する以前の識別可能性分析における不要な仮定を低減できることを示した。 本稿では, 従来手法の複雑な構造制約を, 遷移と報酬保存の2つの簡単な制約に置き換えることにより, 一般に部分的に観測可能なマルコフ決定過程(POMDP)を提案する。
  論文  参考訳（メタデータ） (2024-08-24T06:49:13Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Evaluating Readability and Faithfulness of Concept-based Explanations [35.48852504832633]
  概念に基づく説明は、大規模言語モデルによって学習された高レベルのパターンを説明するための有望な道として現れます。 現在の手法は、統一的な形式化を欠いた異なる視点から概念にアプローチする。 これにより、概念の中核となる尺度、すなわち忠実さや可読性を評価するのが難しくなります。
  論文  参考訳（メタデータ） (2024-04-29T09:20:25Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications [54.93807822347193]
  帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。 次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。 最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
  論文  参考訳（メタデータ） (2023-07-05T08:11:40Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。 ネットワーク化されたアプローチは、障害の更新や人口規模の変化に対する堅牢性という点において、両方の選択肢に対して大きなメリットがあることが示されています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• Towards Robust Metrics for Concept Representation Evaluation [25.549961337814523]
  概念学習モデルは、その表現に不純物を符号化する傾向があることが示されている。 両手法における概念表現の純度を評価するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-01-25T00:40:19Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Entity Concept-enhanced Few-shot Relation Extraction [35.10974511223129]
  長尾分布問題において,FSRE (Few-shot relation extract) が重要である。 ほとんどの既存のFSREアルゴリズムは、認識されたエンティティペアと共に文の情報に基づいて関係を正確に分類することができない。 本稿では,エンティティ固有の概念を導入し,関係予測の手がかりを提供する,エンティティ強化型FEw-shot Relation extract scheme(ConceptFERE)を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。