論文の概要: CollabSkill: Evaluating Human-Agent Collaboration On Real-World Tasks

• arxiv url: http://arxiv.org/abs/2606.09833v1
• Date: Mon, 20 Apr 2026 03:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.789406
• Title: CollabSkill: Evaluating Human-Agent Collaboration On Real-World Tasks
• Title（参考訳）: CollabSkill: 現実世界のタスクにおけるヒューマンエージェントコラボレーションの評価
• Authors: Yijia Shao, Zora Zhiruo Wang, Neel Ahuja, Yicheng Wang, Bowen Liu, Diyi Yang,
• Abstract要約: CollabSkillは、現実世界の作業タスクにおける人間とエージェントのコラボレーションを評価するためのフレームワークである。 実際の人間の労働者とAIエージェントを、仕事の背景にマッチしたタスクでペアリングする。 分析の結果,実践的な経験がコラボレーションスキルの原動力として現れることが明らかとなった。
• 参考スコア（独自算出の注目度）: 55.84031315625504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: AI agents are reshaping the workspace, leading to drastic change of how humans work. Despite the considerable potential of human-agent collaboration both in preserving human agency and generating economic value, this paradigm remains largely absent from occupational task evaluation, hindered by the difficulty of gathering real human data and accounting for inter-human variability. We introduce CollabSkill, a framework for evaluating human-agent collaboration on real-world occupational tasks. CollabSkill pairs real human workers with AI agents on tasks matched to their occupational background, collecting data that capture the complexity of economically valuable tasks and the usage patterns of real workers. To account for inter-human variability, CollabSkill employs a Bayesian skill rating system to disentangle and quantify the skill contributions of both humans and AI agents. Drawing on over 1,500 prompts from 386 working sessions contributed by 93 human workers, our analysis yields insights on two fronts: on the agent side, rankings on CollabSkill diverge meaningfully from those of existing fully autonomous benchmarks where Codex leads, with Claude Code ranking first; on the human side, CollabSkill reveals that practical experience emerges as the primary driver of collaboration skill, with hands-on collaboration meaningfully shifting workers' AI literacy. Together, we hope CollabSkill enables the community to invest in systematic evaluation of human-agent collaboration and spurs development efforts aimed at building AI agents that genuinely augment human workers.
• Abstract（参考訳）: AIエージェントはワークスペースを再構築し、人間の働き方を大きく変える。 人的エージェンシーの保存と経済価値の創出において、人間とエージェントのコラボレーションのかなりの可能性にもかかわらず、このパラダイムは、実際の人的データ収集の困難さと人的変動の考慮によって、職業的タスク評価から大きく欠落している。 コラボスキル(CollabSkill)は、現実世界の作業タスクにおける人間とエージェントのコラボレーションを評価するためのフレームワークである。 CollabSkillは、仕事の背景にマッチしたAIエージェントと実際の人間の労働者をペアリングし、経済的に価値のあるタスクの複雑さと実際の労働者の使用パターンをキャプチャするデータを収集する。 CollabSkillは、人間とAIエージェントの両方のスキルコントリビューションを歪め、定量化するために、ベイズスキルレーティングシステムを使用している。 エージェント側では、ColabSkillのランキングは、CodexがClaude Codeのランキングを先導する既存の完全に自律的なベンチマークと有意義に異なる。 CollabSkillは、コミュニティが人間とエージェントのコラボレーションの体系的な評価に投資し、人間の労働者を真に増強するAIエージェントの構築を目的とした開発努力を促進することを願っている。

関連論文リスト

• How Do AI Agents Do Human Work? Comparing AI and Human Workflows Across Diverse Occupations [112.57167042285437]
  エージェントが人間とエージェントの労働者の直接比較を初めて提示することで、エージェントがどのように人間の仕事をするかを考察する。 結果が88.3%速く、コストが90.4-96.2%低いことが判明した。
  論文  参考訳（メタデータ） (2025-10-26T18:10:22Z)
• Towards Effective Human-in-the-Loop Assistive AI Agents [15.11527529177358]
  本稿では,AI指導が手続き的タスクのパフォーマンスに与える影響を評価するための評価フレームワークと人間-AIインタラクションのデータセットを紹介する。 また、料理から戦場医療まで、現実世界のタスクにおけるインタラクティブなガイダンスを提供するAR搭載AIエージェントも開発しています。
  論文  参考訳（メタデータ） (2025-07-24T12:50:46Z)
• A Task-Driven Human-AI Collaboration: When to Automate, When to Collaborate, When to Challenge [16.734679201317896]
  性能を改善しつつ、適切な人間とAIの統合が有意義なエージェンシーを維持するかを示す。 この枠組みは、実用的で道徳的に健全な人間とAIのコラボレーションの基礎を築いた。
  論文  参考訳（メタデータ） (2025-05-23T23:19:15Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。