論文の概要: The Impact of Concept Explanations and Interventions on Human-Machine Collaboration

• arxiv url: http://arxiv.org/abs/2512.00015v1
• Date: Sun, 19 Oct 2025 16:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-07 19:06:32.385777
• Title: The Impact of Concept Explanations and Interventions on Human-Machine Collaboration
• Title（参考訳）: 概念説明と介入が人間と機械の協調に及ぼす影響
• Authors: Jack Furby, Dan Cunnington, Dave Braines, Alun Preece,
• Abstract要約: CBM(Concept Bottleneck Models)は、タスクラベルを予測するための中間ステップとして、人間定義の概念を予測するために導入された。 CBMは標準的なディープニューラルネットワーク(DNN)と比較して解釈性を改善する しかし、このアライメントの増加はタスクの精度を大幅に向上させるには至らなかった。
• 参考スコア（独自算出の注目度）: 0.03999851878220877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) are often considered black boxes due to their opaque decision-making processes. To reduce their opacity Concept Models (CMs), such as Concept Bottleneck Models (CBMs), were introduced to predict human-defined concepts as an intermediate step before predicting task labels. This enhances the interpretability of DNNs. In a human-machine setting greater interpretability enables humans to improve their understanding and build trust in a DNN. In the introduction of CBMs, the models demonstrated increased task accuracy as incorrect concept predictions were replaced with their ground truth values, known as intervening on the concept predictions. In a collaborative setting, if the model task accuracy improves from interventions, trust in a model and the human-machine task accuracy may increase. However, the result showing an increase in model task accuracy was produced without human evaluation and thus it remains unknown if the findings can be applied in a collaborative setting. In this paper, we ran the first human studies using CBMs to evaluate their human interaction in collaborative task settings. Our findings show that CBMs improve interpretability compared to standard DNNs, leading to increased human-machine alignment. However, this increased alignment did not translate to a significant increase in task accuracy. Understanding the model's decision-making process required multiple interactions, and misalignment between the model's and human decision-making processes could undermine interpretability and model effectiveness.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、不透明な意思決定プロセスのため、ブラックボックスと見なされることが多い。 概念ボトルネックモデル (Concept Bottleneck Models, CBMs) のような不透明の概念モデル (CMs) を減らすために、タスクラベルを予測する前に中間ステップとして人間定義の概念を予測するために導入された。 これはDNNの解釈可能性を高める。 より解釈可能性の高いヒューマンマシンでは、人間は理解を改善し、DNNで信頼を構築することができる。 CBMの導入では、誤った概念予測がそれらの基礎となる真理値に置き換えられ、概念予測の介入として知られるため、モデルのタスク精度が向上した。 協調的な環境では、モデルタスクの精度が介入によって改善された場合、モデルへの信頼と人間マシンタスクの精度が増大する可能性がある。 しかし, モデル課題の精度が向上する結果が人的評価を伴わずに得られたため, 実験結果が協調的に適用できるかどうかは不明である。 本稿では,CBMを用いたヒューマンスタディを初めて実施し,協調作業環境における人間のインタラクションを評価する。 以上の結果から,CBMは標準的なDNNに比べて解釈可能性が改善され,機械的アライメントが向上した。 しかし、このアライメントの増加はタスクの精度を大幅に向上させるには至らなかった。 モデルの意思決定プロセスを理解するには、複数の相互作用が必要であり、モデルと人間の意思決定プロセスのミスアライメントは、解釈可能性やモデルの有効性を損なう可能性がある。

関連論文リスト

• CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
  本研究は認知拡散確率モデル(CogDPM)を紹介する。 CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。 我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
  論文  参考訳（メタデータ） (2024-05-03T15:54:50Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Human-Understandable Decision Making for Visual Recognition [30.30163407674527]
  モデル学習プロセスに人間の知覚の優先順位を組み込むことにより,深層ニューラルネットワークを訓練する新たなフレームワークを提案する。 提案モデルの有効性を2つの古典的視覚認識タスクで評価する。
  論文  参考訳（メタデータ） (2021-03-05T02:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。