論文の概要: Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents
- arxiv url: http://arxiv.org/abs/2510.25744v2
- Date: Thu, 30 Oct 2025 17:54:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 13:50:54.761652
- Title: Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents
- Title(参考訳): Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents
- Authors: Shannon Zejiang Shen, Valerie Chen, Ken Gu, Alexis Ross, Zixian Ma, Jillian Ross, Alex Gu, Chenglei Si, Wayne Chi, Andi Peng, Jocelyn J Shen, Ameet Talwalkar, Tongshuang Wu, David Sontag,
- Abstract要約: タスク完了エージェントの構築と評価から,協調エージェントの開発への移行を議論する。
エージェントのユーティリティがユーザ関与の増加とともにどのように成長するかをキャプチャするフレームワークであるコラボレーティブ・ワーク・スケーリングを紹介します。
- 参考スコア(独自算出の注目度): 48.95020665909723
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Current evaluations of agents remain centered around one-shot task completion, failing to account for the inherently iterative and collaborative nature of many real-world problems, where human goals are often underspecified and evolve. We argue for a shift from building and assessing task completion agents to developing collaborative agents, assessed not only by the quality of their final outputs but by how well they engage with and enhance human effort throughout the problem-solving process. To support this shift, we introduce collaborative effort scaling, a framework that captures how an agent's utility grows with increasing user involvement. Through case studies and simulated evaluations, we show that state-of-the-art agents often underperform in multi-turn, real-world scenarios, revealing a missing ingredient in agent design: the ability to sustain engagement and scaffold user understanding. Collaborative effort scaling offers a lens for diagnosing agent behavior and guiding development toward more effective interactions.
- Abstract(参考訳): エージェントの現在の評価は、1ショットのタスク完了を中心に行われており、人間のゴールが過小評価され、進化している多くの現実の問題の本質的に反復的で協調的な性質を考慮できない。
我々は,タスク完了エージェントの構築と評価から,最終成果の質だけでなく,課題解決プロセスを通じて人的労力をいかに向上させるかによって評価される,協調エージェントの開発へのシフトを論じる。
このシフトをサポートするために,エージェントのユーティリティがユーザ関与の増加に伴ってどのように成長するかをキャプチャするフレームワークである,協調作業スケーリングを導入する。
ケーススタディとシミュレートされた評価を通して、最先端のエージェントは、マルチターンで現実のシナリオにおいて、しばしば過小評価され、エージェント設計に欠けている要素であるエンゲージメントと足場ユーザ理解の欠如が明らかになった。
協調的な取り組みのスケーリングは、エージェントの振る舞いを診断し、より効果的なインタラクションに向けた開発を導くためのレンズを提供する。
関連論文リスト
- Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。
経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。
推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
論文 参考訳(メタデータ) (2025-05-29T07:24:37Z) - Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。
シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。
その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
論文 参考訳(メタデータ) (2024-12-20T09:21:15Z) - Open-Ended Learning Leads to Generally Capable Agents [12.079718607356178]
環境領域内のタスクの宇宙を定義し、この広大な空間をまたいだエージェントを訓練する能力を示す。
結果として生じる空間は、エージェントがもたらす課題に関して非常に多様であり、エージェントの学習の進捗を測定することさえも、オープンな研究課題である。
オープンエンド学習プロセスの構築により,エージェントが学習を止めないようなトレーニングタスク分布や訓練目標を動的に変化させることで,新しい行動の一貫性のある学習が可能になることを示す。
論文 参考訳(メタデータ) (2021-07-27T13:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。