論文の概要: CollabSkill: Evaluating Human-Agent Collaboration On Real-World Tasks
- arxiv url: http://arxiv.org/abs/2606.09833v1
- Date: Mon, 20 Apr 2026 03:03:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.789406
- Title: CollabSkill: Evaluating Human-Agent Collaboration On Real-World Tasks
- Title（参考訳）: CollabSkill: 現実世界のタスクにおけるヒューマンエージェントコラボレーションの評価
- Abstract要約: CollabSkillは、現実世界の作業タスクにおける人間とエージェントのコラボレーションを評価するためのフレームワークである。
実際の人間の労働者とAIエージェントを、仕事の背景にマッチしたタスクでペアリングする。
分析の結果,実践的な経験がコラボレーションスキルの原動力として現れることが明らかとなった。
- 参考スコア（独自算出の注目度）: 55.84031315625504
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI agents are reshaping the workspace, leading to drastic change of how humans work. Despite the considerable potential of human-agent collaboration both in preserving human agency and generating economic value, this paradigm remains largely absent from occupational task evaluation, hindered by the difficulty of gathering real human data and accounting for inter-human variability. We introduce CollabSkill, a framework for evaluating human-agent collaboration on real-world occupational tasks. CollabSkill pairs real human workers with AI agents on tasks matched to their occupational background, collecting data that capture the complexity of economically valuable tasks and the usage patterns of real workers. To account for inter-human variability, CollabSkill employs a Bayesian skill rating system to disentangle and quantify the skill contributions of both humans and AI agents. Drawing on over 1,500 prompts from 386 working sessions contributed by 93 human workers, our analysis yields insights on two fronts: on the agent side, rankings on CollabSkill diverge meaningfully from those of existing fully autonomous benchmarks where Codex leads, with Claude Code ranking first; on the human side, CollabSkill reveals that practical experience emerges as the primary driver of collaboration skill, with hands-on collaboration meaningfully shifting workers' AI literacy. Together, we hope CollabSkill enables the community to invest in systematic evaluation of human-agent collaboration and spurs development efforts aimed at building AI agents that genuinely augment human workers.
- Abstract（参考訳）: AIエージェントはワークスペースを再構築し、人間の働き方を大きく変える。
人的エージェンシーの保存と経済価値の創出において、人間とエージェントのコラボレーションのかなりの可能性にもかかわらず、このパラダイムは、実際の人的データ収集の困難さと人的変動の考慮によって、職業的タスク評価から大きく欠落している。
コラボスキル(CollabSkill)は、現実世界の作業タスクにおける人間とエージェントのコラボレーションを評価するためのフレームワークである。
CollabSkillは、仕事の背景にマッチしたAIエージェントと実際の人間の労働者をペアリングし、経済的に価値のあるタスクの複雑さと実際の労働者の使用パターンをキャプチャするデータを収集する。
CollabSkillは、人間とAIエージェントの両方のスキルコントリビューションを歪め、定量化するために、ベイズスキルレーティングシステムを使用している。
エージェント側では、ColabSkillのランキングは、CodexがClaude Codeのランキングを先導する既存の完全に自律的なベンチマークと有意義に異なる。
CollabSkillは、コミュニティが人間とエージェントのコラボレーションの体系的な評価に投資し、人間の労働者を真に増強するAIエージェントの構築を目的とした開発努力を促進することを願っている。
関連論文リスト
- Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration [54.18136393879849]
本稿ではエージェント協調のための行動レベル精神モデルAnnotationsのデータセットであるALMANACについて述べる。
ALMANACには2,987の協調アクションがあり、それぞれに理論インフォームドのメンタルモデルアノテーションが組み合わされている。
本研究は、ALMANACが人間の協調動作をシミュレートするモデルの能力を評価する上で有用であることを示す。
論文 参考訳（メタデータ） (2026-06-04T16:56:12Z) - How Do AI Agents Do Human Work? Comparing AI and Human Workflows Across Diverse Occupations [112.57167042285437]
エージェントが人間とエージェントの労働者の直接比較を初めて提示することで、エージェントがどのように人間の仕事をするかを考察する。
結果が88.3%速く、コストが90.4-96.2%低いことが判明した。
論文 参考訳（メタデータ） (2025-10-26T18:10:22Z) - Towards Effective Human-in-the-Loop Assistive AI Agents [15.11527529177358]
本稿では,AI指導が手続き的タスクのパフォーマンスに与える影響を評価するための評価フレームワークと人間-AIインタラクションのデータセットを紹介する。
また、料理から戦場医療まで、現実世界のタスクにおけるインタラクティブなガイダンスを提供するAR搭載AIエージェントも開発しています。
論文 参考訳（メタデータ） (2025-07-24T12:50:46Z) - A Task-Driven Human-AI Collaboration: When to Automate, When to Collaborate, When to Challenge [16.734679201317896]
性能を改善しつつ、適切な人間とAIの統合が有意義なエージェンシーを維持するかを示す。
この枠組みは、実用的で道徳的に健全な人間とAIのコラボレーションの基礎を築いた。
論文 参考訳（メタデータ） (2025-05-23T23:19:15Z) - Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。
シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。
その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
論文 参考訳（メタデータ） (2024-12-20T09:21:15Z) - Efficient Human-AI Coordination via Preparatory Language-based
Convention [17.840956842806975]
既存の人間とAIの調整方法は、エージェントに様々なポリシーや実際の人間のデータに適合した人間のモデルと調整するように訓練するのが一般的である。
我々は、人間とAIの両方を効果的に導くアクションプランを開発するために、大規模言語モデル(LLM)を採用することを提案する。
提案手法は,ヒトの嗜好との整合性が向上し,平均性能が15%向上した。
論文 参考訳（メタデータ） (2023-11-01T10:18:23Z) - Human-AI Collaboration: The Effect of AI Delegation on Human Task
Performance and Task Satisfaction [0.0]
タスク性能とタスク満足度はAIデリゲートによって向上することを示す。
我々は、これらの改善の基盤となるメカニズムとして、人間による自己効力の増大を見いだした。
我々の発見は、AIモデルがより多くの管理責任を引き継ぐことが、人間とAIのコラボレーションの効果的な形態であることを示す最初の証拠を提供する。
論文 参考訳（メタデータ） (2023-03-16T11:02:46Z) - PECAN: Leveraging Policy Ensemble for Context-Aware Zero-Shot Human-AI
Coordination [52.991211077362586]
本研究では,集団におけるパートナーの多様性を高めるための政策アンサンブル手法を提案する。
そこで我々は,egoエージェントがパートナーの潜在的ポリシープリミティブを分析し,識別するためのコンテキスト認識手法を開発した。
このようにして、エゴエージェントは多様なパートナーとの共同作業において、より普遍的な協調行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-01-16T12:14:58Z) - Coordination with Humans via Strategy Matching [5.072077366588174]
協調作業を行う人間と人間のチームを観察することにより、利用可能なタスク補完戦略を自律的に認識するアルゴリズムを提案する。
隠れマルコフモデルを使って、チームアクションを低次元の表現に変換することで、事前の知識なしに戦略を識別できます。
ロボットポリシーは、未確認のパートナーのタスク戦略に適応するMixture-of-Expertsモデルを構築するための、識別された戦略のそれぞれに基づいて学習される。
論文 参考訳（メタデータ） (2022-10-27T01:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。