論文の概要: When concept-based XAI is imprecise: Do people distinguish between generalisations and misrepresentations?

• arxiv url: http://arxiv.org/abs/2506.17936v1
• Date: Sun, 22 Jun 2025 08:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.657457
• Title: When concept-based XAI is imprecise: Do people distinguish between generalisations and misrepresentations?
• Title（参考訳）: 概念に基づくXAIが不正確であるとき、人々は一般化と誤表現を区別するのか?
• Authors: Romy Müller,
• Abstract要約: 概念に基づく説明可能な人工知能(C-XAI)は、AIモデルの内部表現を明らかにするのに役立つ。 C-XAIの概念は、いくつかの変数を示すのが望ましいかもしれない。 人々がそのような一般化を認識し、評価するかどうかは不明である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept-based explainable artificial intelligence (C-XAI) can help reveal the inner representations of AI models. Understanding these representations is particularly important in complex tasks like safety evaluation. Such tasks rely on high-level semantic information (e.g., about actions) to make decisions about abstract categories (e.g., whether a situation is dangerous). In this context, it may desirable for C-XAI concepts to show some variability, suggesting that the AI is capable of generalising beyond the concrete details of a situation. However, it is unclear whether people recognise and appreciate such generalisations and can distinguish them from other, less desirable forms of imprecision. This was investigated in an experimental railway safety scenario. Participants evaluated the performance of a simulated AI that evaluated whether traffic scenes involving people were dangerous. To explain these decisions, the AI provided concepts in the form of similar image snippets. These concepts differed in their match with the classified image, either regarding a highly relevant feature (i.e., relation to tracks) or a less relevant feature (i.e., actions). Contrary to the hypotheses, concepts that generalised over less relevant features led to ratings that were lower than for precisely matching concepts and comparable to concepts that systematically misrepresented these features. Conversely, participants were highly sensitive to imprecisions in relevant features. These findings cast doubts on whether people spontaneously recognise generalisations. Accordingly, they might not be able to infer from C-XAI concepts whether AI models have gained a deeper understanding of complex situations.
• Abstract（参考訳）: 概念に基づく説明可能な人工知能(C-XAI)は、AIモデルの内部表現を明らかにするのに役立つ。 これらの表現を理解することは、特に安全性評価のような複雑なタスクにおいて重要である。 このようなタスクは、抽象カテゴリ(例えば、状況が危険なかどうか)に関する決定を行うために、高レベルのセマンティック情報(例えば、アクションに関する情報)に依存します。 この文脈では、C-XAIの概念は、いくつかの変数を示すことが望ましいため、AIは、状況の具体的な詳細を超えた一般化が可能であることを示唆している。 しかし、そのような一般化を認識して評価するかどうかは不明であり、他の、望ましくない不正確さと区別できる。 これは実験的な鉄道安全シナリオで調査された。 参加者は、人を含む交通シーンが危険かどうかを評価するシミュレーションAIのパフォーマンスを評価した。 これらの決定を説明するため、AIは同様のイメージスニペットの形で概念を提供した。 これらの概念は分類された画像と一致し、非常に関連性の高い特徴(トラックとの関係)またはあまり関係のない特徴(アクション)について異なる。 仮説とは対照的に、関連性の低い特徴を一般化した概念は、正確に一致する概念よりも低く、これらの特徴を体系的に誤って表現する概念に匹敵する評価をもたらした。 逆に、参加者は関連する特徴における不正確さに非常に敏感であった。 これらの結果は、人々が自然に一般化を認識するかどうかに疑問を投げかけた。 したがって、AIモデルが複雑な状況をより深く理解したかどうか、C-XAIの概念から推測することはできないかもしれない。

関連論文リスト

• Exploring the Impact of Explainable AI and Cognitive Capabilities on Users' Decisions [1.1049608786515839]
  NFC(Need for Cognition)のようなパーソナリティ特性は、低レベルのNFC個人と高レベルのNFC個人の間で異なる意思決定結果をもたらす可能性がある。 ローンアプリケーションのシナリオにおいて,AI情報の提示が精度,AI依存度,認知負荷に与える影響について検討した。 精度, 認知負荷において, NFC群と高い群では有意な差は認められず, 意思決定における人格特性の役割について疑問が呈された。
  論文  参考訳（メタデータ） (2025-05-02T11:30:53Z)
• General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
  ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。 私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。 私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
  論文  参考訳（メタデータ） (2025-03-09T01:13:56Z)
• Hacking a surrogate model approach to XAI [49.1574468325115]
  識別されたサブグループがブラックボックスADMシステムから肯定的な決定を下さない場合でも、対応するグループメンバーシップの問題は、必要に応じて低いレベルまで押し下げることができることを示す。 我々のアプローチは、他の代理モデルに容易に一般化できる。
  論文  参考訳（メタデータ） (2024-06-24T13:18:02Z)
• Relevant Irrelevance: Generating Alterfactual Explanations for Image Classifiers [11.200613814162185]
  本稿では,ブラックボックス画像分類器の再現的説明の実現可能性を示す。 ニューラルネットワークに基づくブラックボックスモデルにこのアイデアを適用することが可能であることを初めて示します。
  論文  参考訳（メタデータ） (2024-05-08T11:03:22Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Disagreement amongst counterfactual explanations: How transparency can be deceptive [0.0]
  偽物の説明は、説明可能な人工知能技術としてますます使われている。 すべてのアルゴリズムが同じインスタンスに対して一様説明を生成するわけではない。 悪意のあるエージェントがこの多様性を使って不公平な機械学習モデルに見合うと、倫理的な問題が生じる。
  論文  参考訳（メタデータ） (2023-04-25T09:15:37Z)
• Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
  AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。 本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。 43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
  論文  参考訳（メタデータ） (2022-11-12T21:54:05Z)
• Alterfactual Explanations -- The Relevance of Irrelevance for Explaining AI Systems [0.9542023122304099]
  我々は、決定を完全に理解するためには、関連する特徴に関する知識だけでなく、無関係な情報の認識もAIシステムのユーザーのメンタルモデルの作成に大きく貢献すると主張している。 私たちのアプローチは、Alterfactual Explanations(Alterfactual Explanations)と呼ばれ、AIの入力の無関係な特徴が変更された別の現実を示すことに基づいています。 我々は,AIの推論のさまざまな側面を,反事実的説明法よりも理解するために,人工的説明が適していることを示す。
  論文  参考訳（メタデータ） (2022-07-19T16:20:37Z)
• Conceptual Modeling and Artificial Intelligence: Mutual Benefits from Complementary Worlds [0.0]
  これまでのところ、主に分離されたCMとAIの分野にアプローチする2つの交差点に取り組むことに興味があります。 このワークショップでは、(一)概念モデリング(CM)がAIにどのような貢献ができるのか、(一)その逆の方法で、多様体相互利益を実現することができるという仮定を取り入れている。
  論文  参考訳（メタデータ） (2021-10-16T18:42:09Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。