論文の概要: Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition

• arxiv url: http://arxiv.org/abs/2501.10909v1
• Date: Sun, 19 Jan 2025 01:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:10.818594
• Title: Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition
• Title（参考訳）: 高精度信頼性:複雑タスク分解のための多段階透明決定ワークフローを用いたヒューマンAIコラボレーション
• Authors: Gaole He, Patrick Hemmer, Michael Vössing, Max Schemmer, Ujwal Gadiraju,
• Abstract要約: 本稿では,MST(Multi-Step Transparent)決定ワークフローがユーザ依存行動に与える影響について検討する。 MST決定ワークフローとの人間とAIのコラボレーションは、特定の文脈におけるワンステップのコラボレーションよりも優れていることを示す。 私たちの研究は、最適な人間とAIのコラボレーションを得るのに役立つ、オールサイズの意思決定ワークフローが存在しないことを強調しています。
• 参考スコア（独自算出の注目度）: 14.413413322901409
• License:
• Abstract: In recent years, the rapid development of AI systems has brought about the benefits of intelligent services but also concerns about security and reliability. By fostering appropriate user reliance on an AI system, both complementary team performance and reduced human workload can be achieved. Previous empirical studies have extensively analyzed the impact of factors ranging from task, system, and human behavior on user trust and appropriate reliance in the context of one-step decision making. However, user reliance on AI systems in tasks with complex semantics that require multi-step workflows remains under-explored. Inspired by recent work on task decomposition with large language models, we propose to investigate the impact of a novel Multi-Step Transparent (MST) decision workflow on user reliance behaviors. We conducted an empirical study (N = 233) of AI-assisted decision making in composite fact-checking tasks (i.e., fact-checking tasks that entail multiple sub-fact verification steps). Our findings demonstrate that human-AI collaboration with an MST decision workflow can outperform one-step collaboration in specific contexts (e.g., when advice from an AI system is misleading). Further analysis of the appropriate reliance at fine-grained levels indicates that an MST decision workflow can be effective when users demonstrate a relatively high consideration of the intermediate steps. Our work highlights that there is no one-size-fits-all decision workflow that can help obtain optimal human-AI collaboration. Our insights help deepen the understanding of the role of decision workflows in facilitating appropriate reliance. We synthesize important implications for designing effective means to facilitate appropriate reliance on AI systems in composite tasks, positioning opportunities for the human-centered AI and broader HCI communities.
• Abstract（参考訳）: 近年、AIシステムの急速な開発により、インテリジェントなサービスのメリットがもたらされ、セキュリティや信頼性への懸念も高まっている。 AIシステムへの適切なユーザ依存を促進することで、補完的なチームパフォーマンスと人的負荷の削減が実現される。 これまでの実証研究は、タスク、システム、人間の行動から、ワンステップ意思決定の文脈におけるユーザの信頼と適切な信頼への影響を広範囲に分析してきた。 しかし、マルチステップワークフローを必要とする複雑なセマンティクスを持つタスクにおけるAIシステムへのユーザの依存は、まだ解明されていない。 大規模言語モデルを用いたタスクの分解に関する最近の研究から着想を得て,新しいマルチステップ透明性(MST)決定ワークフローがユーザ依存行動に与える影響について検討する。 複合ファクトチェックタスク(複数サブファクト検証ステップを含むファクトチェックタスク)におけるAI支援意思決定の実証的研究(N=233)を行った。 我々の研究結果は、MST決定ワークフローとの人間とAIのコラボレーションが、特定のコンテキスト(例えば、AIシステムからのアドバイスが誤解を招く場合)でワンステップのコラボレーションより優れていることを示している。 細粒度レベルでの適切な信頼度を解析した結果,中間段階について比較的高い検討を行えば,MST決定ワークフローが有効であることが示唆された。 私たちの研究は、最適な人間とAIのコラボレーションを得るのに役立つ、オールサイズの意思決定ワークフローが存在しないことを強調しています。 私たちの洞察は、適切な信頼を促進する上での意思決定ワークフローの役割の理解を深めるのに役立ちます。 我々は、複合タスクにおけるAIシステムへの適切な依存を促進するための効果的な手段を設計するための重要な意味を合成し、人間中心のAIとより広範なHCIコミュニティの機会を位置づける。

関連論文リスト

• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [51.452664740963066]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• Mutual Theory of Mind in Human-AI Collaboration: An Empirical Study with LLM-driven AI Agents in a Real-time Shared Workspace Task [56.92961847155029]
  心の理論(ToM)は、他人を理解する上で重要な能力として、人間の協調とコミュニケーションに大きな影響を及ぼす。 Mutual Theory of Mind (MToM) は、ToM能力を持つAIエージェントが人間と協力するときに発生する。 エージェントのToM能力はチームのパフォーマンスに大きな影響を与えず,エージェントの人間的理解を高めていることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T13:19:48Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• Human Delegation Behavior in Human-AI Collaboration: The Effect of Contextual Information [7.475784495279183]
  既存の補完機能を活用するための有望なアプローチの1つは、人間が個々の決定タスクのインスタンスをAIに委譲できるようにすることである。 我々は,この委任決定を支援するための文脈情報の提供の効果を検討するために行動学的研究を行う。 これらの結果から,コンテキスト情報へのアクセスは,デリゲート設定における人間-AIチームのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-01-09T18:59:47Z)
• Optimising Human-AI Collaboration by Learning Convincing Explanations [62.81395661556852]
  本研究では,人間による意思決定によって安全を保ちながら協調的なシステムを構築する手法を提案する。 Ardentは、説明のための個人の好みに適応することで、効率的で効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2023-11-13T16:00:16Z)
• Confounding-Robust Policy Improvement with Human-AI Teams [9.823906892919746]
  限界感度モデル(MSM)を用いて,人間とAIの協調作業における非観測的コンバウンディングに対処する新しい手法を提案する。 このアプローチでは、ドメインの専門知識とAI駆動の統計モデルを組み合わせることで、他の方法では隠される可能性がある共同ファウンダーの可能性を考慮しています。
  論文  参考訳（メタデータ） (2023-10-13T02:39:52Z)
• Human-AI Collaboration: The Effect of AI Delegation on Human Task Performance and Task Satisfaction [0.0]
  タスク性能とタスク満足度はAIデリゲートによって向上することを示す。 我々は、これらの改善の基盤となるメカニズムとして、人間による自己効力の増大を見いだした。 我々の発見は、AIモデルがより多くの管理責任を引き継ぐことが、人間とAIのコラボレーションの効果的な形態であることを示す最初の証拠を提供する。
  論文  参考訳（メタデータ） (2023-03-16T11:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。