論文の概要: Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows

• arxiv url: http://arxiv.org/abs/2610.21109v1
• Date: Thu, 15 Oct 2026 02:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.134925
• Title: Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows
• Title（参考訳）: Kolab: 長期ワークフローにおけるヒューマンエージェントコラボレーションのベンチマーク
• Abstract要約: 人間は、単一の試みでタスクを完了させるエージェントの能力よりも、AIエージェントとの継続的な相互作用に重点を置いている。 ほとんどのエージェントベンチマークは自動化に重点を置いている。 Kolabは、AIエージェントと協力する50人のプロフェッショナルの115時間以上のスクリーン記録のデータセットだ。
• 参考スコア（独自算出の注目度）: 19.816690157668912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When humans collaborate with AI agents on long-horizon tasks, what happens to the agents' contributions? For solving long-horizon tasks, humans place greater importance on ongoing interaction with AI agents (e.g., revising plans) than on an agent's ability to complete the task in a single attempt. However, most agentic benchmarks have focused more on automation. Strong performance on such benchmarks does not imply effective real-world collaboration. Professional workflows offer a useful setting, as they often involve interdependent steps. To address this gap, we introduce Kolab, a new dataset of 115+ hours of screen recordings of 50 professionals from 40 occupations collaborating with agents on realistic, long-horizon problems. Kolab also contains participants' collaboration and output quality judgments. Our analysis reveals diverse collaboration patterns, highlighting the importance of when and how professionals coordinate with agents. A collaborative agent must do two things that automation benchmarks never test: anticipate whether experts will adopt, modify, or reject its contribution once it leaves the chat window to guide its next steps, and assess collaboration quality from the unfolding workflow without constant expert feedback. Our benchmark operationalizes both: (1) forecasting how professionals use agent contributions at diverse workflows, and (2) verifying their judgments of collaboration satisfaction and output quality. Findings show that frontier models, both agentic and non-agentic, overestimate collaboration with experts and struggle to distinguish between high- and low-quality collaboration. Longer workflow context does not consistently improve these predictions. As frontier agents cannot yet understand long-horizon collaboration with experts, we position Kolab as a valuable dataset for studying human-agent collaboration grounded in real professional workflows.
• Abstract（参考訳）: 人間が長期的なタスクでAIエージェントと協力するとき、エージェントの貢献はどうなるのか? 長期的タスクの解決には、エージェントがひとつの試みでタスクを完了する能力よりも、AIエージェント(例えば計画の修正)との継続的なインタラクションが重要になる。 しかしながら、ほとんどのエージェントベンチマークは自動化に重点を置いている。 このようなベンチマークの強いパフォーマンスは、現実世界のコラボレーションに意味を示さない。 プロのワークフローは、しばしば相互依存的なステップを含むため、有用な設定を提供する。 このギャップに対処するために、私たちはKolabを紹介します。これは、40の職業から50人のプロフェッショナルの115時間以上のスクリーン記録のデータセットです。 Kolabには参加者のコラボレーションや品質判断のアウトプットも含まれている。 分析の結果,エージェントとの連携がいかに重要か,その重要性が明らかになった。 コラボレーションエージェントは、自動化ベンチマークが決してテストしない2つのことをしなければならない。専門家が次のステップをガイドするためにチャットウィンドウを離れると、専門家が採用し、修正し、貢献を拒否するかどうかを予測し、常に専門家のフィードバックなしに、オープンなワークフローからコラボレーション品質を評価する。 本ベンチマークでは,(1)プロが多様なワークフローでエージェントコントリビューションをどのように利用するかを予測し,(2)協調満足度とアウトプット品質の判断を検証した。 調査の結果、エージェントモデルと非エージェントモデルの両方が専門家とのコラボレーションを過大評価し、高品質と低品質のコラボレーションを区別するのに苦労していることがわかった。 より長いワークフローコンテキストは、これらの予測を一貫して改善しない。 フェデラルエージェントはまだ専門家との長期的なコラボレーションを理解できないため、私たちはKolabを、実際のプロフェッショナルワークフローに根ざした人間とエージェントのコラボレーションを研究するための貴重なデータセットとして位置付けています。

関連論文リスト

• Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents [48.95020665909723]
  タスク完了エージェントの構築と評価から,協調エージェントの開発への移行を議論する。 エージェントのユーティリティがユーザ関与の増加とともにどのように成長するかをキャプチャするフレームワークであるコラボレーティブ・ワーク・スケーリングを紹介します。
  論文  参考訳（メタデータ） (2025-10-29T17:47:18Z)
• Who is Helping Whom? Analyzing Inter-dependencies to Evaluate Cooperation in Human-AI Teaming [13.263258837438045]
  本研究では,人間とエージェントの協力関係を評価するための重要な指標として,建設的相互依存の概念を提案する。 その結果,訓練されたエージェントは高いタスク報酬を得られるが,協調行動の誘発には失敗していることがわかった。 分析の結果,チームリングのパフォーマンスは必ずしもタスク報酬と相関していないことが明らかとなり,タスク報酬だけでは協調を確実に測定できないことがわかった。
  論文  参考訳（メタデータ） (2025-02-10T19:16:20Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。