論文の概要: When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration
- arxiv url: http://arxiv.org/abs/2506.05579v2
- Date: Mon, 09 Jun 2025 04:57:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 14:13:04.156184
- Title: When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration
- Title（参考訳）: 人間とAIのコラボレーションにおける知識伝達の定量化
- Authors: Quan Shi, Carlos E. Jimenez, Shunyu Yao, Nick Haber, Diyi Yang, Karthik Narasimhan,
- Abstract要約: 我々は,人間とAIの知識伝達能力に関する概念的かつ実験的フレームワークである知識統合と伝達評価(KITE)を紹介する。
最初の大規模人間実験(N=118)を行い,その測定を行った。
2段階のセットアップでは、まずAIを使って問題解決戦略を思いつき、その後独立してソリューションを実装し、モデル説明が人間の理解に与える影響を分離します。
- 参考スコア（独自算出の注目度）: 79.69935257008467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in AI reasoning have driven substantial improvements across diverse tasks. A critical open question is whether these improvements also yields better knowledge transfer: the ability of models to communicate reasoning in ways humans can understand, apply, and learn from. To investigate this, we introduce Knowledge Integration and Transfer Evaluation (KITE), a conceptual and experimental framework for Human-AI knowledge transfer capabilities and conduct the first large-scale human study (N=118) explicitly designed to measure it. In our two-phase setup, humans first ideate with an AI on problem-solving strategies, then independently implement solutions, isolating model explanations' influence on human understanding. Our findings reveal that although model benchmark performance correlates with collaborative outcomes, this relationship is notably inconsistent, featuring significant outliers, indicating that knowledge transfer requires dedicated optimization. Our analysis identifies behavioral and strategic factors mediating successful knowledge transfer. We release our code, dataset, and evaluation framework to support future work on communicatively aligned models.
- Abstract（参考訳）: AI推論の最近の進歩は、さまざまなタスクで大幅に改善されている。
重要なオープンな疑問は、これらの改善がより良い知識伝達をもたらすかどうかである。
そこで本研究では,人間とAIの知識伝達能力に関する概念的かつ実験的なフレームワークである知識統合と伝達評価(KITE)を導入し,それを測定するために設計された最初の大規模人間研究(N=118)を実施する。
2段階のセットアップでは、まずAIを使って問題解決戦略を思いつき、その後独立してソリューションを実装し、モデル説明が人間の理解に与える影響を分離します。
この結果から, モデルベンチマークの性能は協調的な結果と相関するが, この関係は顕著に矛盾し, かなりの外れがみられ, 知識伝達には専用の最適化が必要であることが示唆された。
本分析は,知識伝達の成功を媒介する行動的・戦略的要因を同定する。
私たちはコード、データセット、評価フレームワークをリリースし、コミュニケーションに整合したモデルにおける将来の作業をサポートします。
関連論文リスト
- Mutual Understanding between People and Systems via Neurosymbolic AI and Knowledge Graphs [0.20482269513546453]
本稿では,知識の共有,知識の交換,知識の統制という,相互理解を特徴付ける3つの重要な側面を紹介する。
我々は、人間、人工、ロボットエージェント間の意味のある交換を支援するため、NeSy AIとKnowledge Graphsの応用を実証するいくつかのユースケースシナリオを提示する。
論文 参考訳（メタデータ） (2025-04-15T13:57:09Z) - The Value of Information in Human-AI Decision-making [23.353778024330165]
情報の価値を特徴付けるための意思決定理論の枠組みに貢献する。
本稿では、SHAPの説明に適応し、人間の補足情報を強調する新しい説明手法を提案する。
我々は,人間の意思決定を最も補完するAIモデルを特定するために,補完的情報の尺度が利用できることを示した。
論文 参考訳（メタデータ） (2025-02-10T04:50:42Z) - From DDMs to DNNs: Using process data and models of decision-making to
improve human-AI interactions [1.1510009152620668]
人工知能(AI)の研究は、意思決定が時間とともにどのように現れるかについての洞察に強い焦点をあてることから恩恵を受けるだろう、と私たちは主張する。
まず,ノイズの蓄積による決定を前提とした,高度に確立された計算フレームワークを提案する。
次に、マルチエージェントAIにおける現在のアプローチが、プロセスデータや意思決定のモデルをどの程度取り入れているかについて議論する。
論文 参考訳（メタデータ） (2023-08-29T11:27:22Z) - A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。
先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。
本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
論文 参考訳（メタデータ） (2023-06-05T01:01:12Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Toward Supporting Perceptual Complementarity in Human-AI Collaboration
via Reflection on Unobservables [7.3043497134309145]
予測を行う際に、潜在的に関連性のある観測不可能が、モデル出力と観測不能をどのように統合するかにどのように影響するかを理解するために、オンライン実験を行う。
以上の結果から, 観測不可能性に関する提示は, モデル出力と観測不能性を統合する方法を変えることができるが, 必ずしも性能改善につながるとは限らないことが示唆された。
論文 参考訳（メタデータ） (2022-07-28T00:05:14Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳（メタデータ） (2021-12-16T04:37:10Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。