論文の概要: From Task Success to Productive Success: Evaluating Human-AI Collaboration by Quality and Cost

• arxiv url: http://arxiv.org/abs/2609.21117v1
• Date: Thu, 17 Sep 2026 22:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.788532
• Title: From Task Success to Productive Success: Evaluating Human-AI Collaboration by Quality and Cost
• Title（参考訳）: タスク成功から生産的成功へ:品質とコストによる人間とAIのコラボレーションを評価する
• Abstract要約: AIの生産性は、タスク完了時間、経済的価値、成果の質の向上によって測定されることが多い。 本稿では,人間とAIの協力関係を評価するための生産性指向のフレームワークを,インタラクションコストに対する結果品質として紹介する。
• 参考スコア（独自算出の注目度）: 26.33928827133126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI productivity is often measured by task completion time, economic value, or improvements in outcome quality. However, these measures usually treat collaboration as a black box where they capture what output was produced, but not the interaction cost required to produce it. Motivated by economics literature, we introduce a productivity-oriented framework for evaluating human-AI collaboration as outcome quality relative to interaction cost. Across two datasets spanning four tasks, we show that: (1) sessions with identical quality ratings can differ by up to 70 times in interaction cost; (2) quality-cost relationships vary by task, with some tasks rewarding extended interaction and others favoring fast convergence; (3) subjective user ratings are not reliable substitutes for productivity; and (4) productive sessions are characterized by agents probing earlier and users spending less effort repairing the interaction. By distinguishing productive success from costly success, our framework makes interactional cost visible and shows how dialogue analysis can inform the evaluation and design of AI systems.
• Abstract（参考訳）: AIの生産性は、タスク完了時間、経済的価値、成果の質の向上によって測定されることが多い。 しかしながら、これらの尺度は、通常、コラボレーションをブラックボックスとして扱い、そこで生成された出力をキャプチャするが、それを生成するのに必要な相互作用コストはかからない。 本研究では,人間とAIの協力関係を,相互作用コストに対する結果品質として評価する生産性指向の枠組みを導入する。 4つのタスクにまたがる2つのデータセットにおいて,(1)同一品質評価のセッションは,最大70倍の対話コストで異なる場合があり,(2)品質・コストの関係はタスクによって異なり,(2)広範囲のインタラクションに報いる場合,(3)主観的ユーザ評価は生産性の信頼性のある代替品ではない場合,(4)生産的なセッションは,より早期に提供され,ユーザがインタラクションの修復に労力を費やすことが特徴である。 生産的成功とコスト的な成功を区別することにより、我々のフレームワークは相互作用コストを可視化し、対話分析がAIシステムの評価と設計にどのように役立つかを示す。

関連論文リスト

• CollabSkill: Evaluating Human-Agent Collaboration On Real-World Tasks [55.84031315625504]
  CollabSkillは、現実世界の作業タスクにおける人間とエージェントのコラボレーションを評価するためのフレームワークである。 実際の人間の労働者とAIエージェントを、仕事の背景にマッチしたタスクでペアリングする。 分析の結果,実践的な経験がコラボレーションスキルの原動力として現れることが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-20T03:03:25Z)
• Toward Efficient Agents: Memory, Tool learning, and Planning [96.93533945696156]
  本稿では,レイテンシ,トークン,ステップなどのコストを考慮したメモリ,ツール学習,計画という,エージェントの3つのコアコンポーネントの効率性について検討する。
  論文  参考訳（メタデータ） (2026-01-20T17:51:56Z)
• Completion $\neq$ Collaboration: Scaling Collaborative Effort with Agents [48.95020665909723]
  タスク完了エージェントの構築と評価から,協調エージェントの開発への移行を議論する。 エージェントのユーティリティがユーザ関与の増加とともにどのように成長するかをキャプチャするフレームワークであるコラボレーティブ・ワーク・スケーリングを紹介します。
  論文  参考訳（メタデータ） (2025-10-29T17:47:18Z)
• Evaluating Uncertainty and Quality of Visual Language Action-enabled Robots [13.26825865228582]
  ロボット操作タスクのためのVLAモデルに特化して設計された8つの不確実性指標と5つの品質指標を提案する。 我々は,3つの最先端VLAモデルから908のタスク実行を成功させる大規模実証実験により,その有効性を評価する。
  論文  参考訳（メタデータ） (2025-07-22T22:15:59Z)
• Evaluations at Work: Measuring the Capabilities of GenAI in Use [28.124088786766965]
  現在のAIベンチマークは、人間とAIのコラボレーションの混乱したマルチターンの性質を見逃している。 実世界のタスクを相互依存サブタスクに分解する評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T23:06:23Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。