論文の概要: Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition

• arxiv url: http://arxiv.org/abs/2501.10909v1
• Date: Sun, 19 Jan 2025 01:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:10.818594
• Title: Fine-Grained Appropriate Reliance: Human-AI Collaboration with a Multi-Step Transparent Decision Workflow for Complex Task Decomposition
• Title（参考訳）: 高精度信頼性:複雑タスク分解のための多段階透明決定ワークフローを用いたヒューマンAIコラボレーション
• Authors: Gaole He, Patrick Hemmer, Michael Vössing, Max Schemmer, Ujwal Gadiraju,
• Abstract要約: 本稿では,MST(Multi-Step Transparent)決定ワークフローがユーザ依存行動に与える影響について検討する。 MST決定ワークフローとの人間とAIのコラボレーションは、特定の文脈におけるワンステップのコラボレーションよりも優れていることを示す。 私たちの研究は、最適な人間とAIのコラボレーションを得るのに役立つ、オールサイズの意思決定ワークフローが存在しないことを強調しています。
• 参考スコア（独自算出の注目度）: 14.413413322901409
• License:
• Abstract: In recent years, the rapid development of AI systems has brought about the benefits of intelligent services but also concerns about security and reliability. By fostering appropriate user reliance on an AI system, both complementary team performance and reduced human workload can be achieved. Previous empirical studies have extensively analyzed the impact of factors ranging from task, system, and human behavior on user trust and appropriate reliance in the context of one-step decision making. However, user reliance on AI systems in tasks with complex semantics that require multi-step workflows remains under-explored. Inspired by recent work on task decomposition with large language models, we propose to investigate the impact of a novel Multi-Step Transparent (MST) decision workflow on user reliance behaviors. We conducted an empirical study (N = 233) of AI-assisted decision making in composite fact-checking tasks (i.e., fact-checking tasks that entail multiple sub-fact verification steps). Our findings demonstrate that human-AI collaboration with an MST decision workflow can outperform one-step collaboration in specific contexts (e.g., when advice from an AI system is misleading). Further analysis of the appropriate reliance at fine-grained levels indicates that an MST decision workflow can be effective when users demonstrate a relatively high consideration of the intermediate steps. Our work highlights that there is no one-size-fits-all decision workflow that can help obtain optimal human-AI collaboration. Our insights help deepen the understanding of the role of decision workflows in facilitating appropriate reliance. We synthesize important implications for designing effective means to facilitate appropriate reliance on AI systems in composite tasks, positioning opportunities for the human-centered AI and broader HCI communities.
• Abstract（参考訳）: 近年、AIシステムの急速な開発により、インテリジェントなサービスのメリットがもたらされ、セキュリティや信頼性への懸念も高まっている。 AIシステムへの適切なユーザ依存を促進することで、補完的なチームパフォーマンスと人的負荷の削減が実現される。 これまでの実証研究は、タスク、システム、人間の行動から、ワンステップ意思決定の文脈におけるユーザの信頼と適切な信頼への影響を広範囲に分析してきた。 しかし、マルチステップワークフローを必要とする複雑なセマンティクスを持つタスクにおけるAIシステムへのユーザの依存は、まだ解明されていない。 大規模言語モデルを用いたタスクの分解に関する最近の研究から着想を得て,新しいマルチステップ透明性(MST)決定ワークフローがユーザ依存行動に与える影響について検討する。 複合ファクトチェックタスク(複数サブファクト検証ステップを含むファクトチェックタスク)におけるAI支援意思決定の実証的研究(N=233)を行った。 我々の研究結果は、MST決定ワークフローとの人間とAIのコラボレーションが、特定のコンテキスト(例えば、AIシステムからのアドバイスが誤解を招く場合)でワンステップのコラボレーションより優れていることを示している。 細粒度レベルでの適切な信頼度を解析した結果,中間段階について比較的高い検討を行えば,MST決定ワークフローが有効であることが示唆された。 私たちの研究は、最適な人間とAIのコラボレーションを得るのに役立つ、オールサイズの意思決定ワークフローが存在しないことを強調しています。 私たちの洞察は、適切な信頼を促進する上での意思決定ワークフローの役割の理解を深めるのに役立ちます。 我々は、複合タスクにおけるAIシステムへの適切な依存を促進するための効果的な手段を設計するための重要な意味を合成し、人間中心のAIとより広範なHCIコミュニティの機会を位置づける。

関連論文リスト

• To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
  最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。 実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
  論文  参考訳（メタデータ） (2024-09-22T09:43:27Z)
• Mutual Theory of Mind in Human-AI Collaboration: An Empirical Study with LLM-driven AI Agents in a Real-time Shared Workspace Task [56.92961847155029]
  心の理論(ToM)は、他人を理解する上で重要な能力として、人間の協調とコミュニケーションに大きな影響を及ぼす。 Mutual Theory of Mind (MToM) は、ToM能力を持つAIエージェントが人間と協力するときに発生する。 エージェントのToM能力はチームのパフォーマンスに大きな影響を与えず,エージェントの人間的理解を高めていることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T13:19:48Z)
• WESE: Weak Exploration to Strong Exploitation for LLM Agents [95.6720931773781]
  本稿では,オープンワールド対話型タスクの解法において,LLMエージェントの強化を目的としたWeak Exploration to Strong Exploitation (WESE)を提案する。 WESEは、探究と搾取のプロセスを分離し、費用対効果の弱いエージェントを用いて世界的知識の探索を行う。 次に、獲得した知識を格納し、タスク関連知識を抽出する知識グラフベースの戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-11T03:31:54Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• Optimising Human-AI Collaboration by Learning Convincing Explanations [62.81395661556852]
  本研究では,人間による意思決定によって安全を保ちながら協調的なシステムを構築する手法を提案する。 Ardentは、説明のための個人の好みに適応することで、効率的で効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2023-11-13T16:00:16Z)
• Confounding-Robust Policy Improvement with Human-AI Teams [9.823906892919746]
  限界感度モデル(MSM)を用いて,人間とAIの協調作業における非観測的コンバウンディングに対処する新しい手法を提案する。 このアプローチでは、ドメインの専門知識とAI駆動の統計モデルを組み合わせることで、他の方法では隠される可能性がある共同ファウンダーの可能性を考慮しています。
  論文  参考訳（メタデータ） (2023-10-13T02:39:52Z)
• Improving Grounded Language Understanding in a Collaborative Environment by Interacting with Agents Through Help Feedback [42.19685958922537]
  我々は、人間とAIのコラボレーションは対話的であり、人間がAIエージェントの作業を監視し、エージェントが理解し活用できるフィードバックを提供するべきだと論じている。 本研究では, IGLUコンペティションによって定義された課題である, マイニングクラフトのような世界における対話型言語理解タスクを用いて, これらの方向を探索する。
  論文  参考訳（メタデータ） (2023-04-21T05:37:59Z)
• Human-AI Collaboration: The Effect of AI Delegation on Human Task Performance and Task Satisfaction [0.0]
  タスク性能とタスク満足度はAIデリゲートによって向上することを示す。 我々は、これらの改善の基盤となるメカニズムとして、人間による自己効力の増大を見いだした。 我々の発見は、AIモデルがより多くの管理責任を引き継ぐことが、人間とAIのコラボレーションの効果的な形態であることを示す最初の証拠を提供する。
  論文  参考訳（メタデータ） (2023-03-16T11:02:46Z)
• Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration [116.28433607265573]
  我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。 WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。 マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-10-19T21:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。