論文の概要: CentaurBench: Benchmarking LLM Capabilities on Augmenting vs. Automating Real-World Work Tasks

• arxiv url: http://arxiv.org/abs/2608.18554v1
• Date: Wed, 19 Aug 2026 05:22:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.286544
• Title: CentaurBench: Benchmarking LLM Capabilities on Augmenting vs. Automating Real-World Work Tasks
• Title（参考訳）: CentaurBench: 実世界の作業タスクの自動化に対するLLM機能のベンチマーク
• Abstract要約: ほとんどのベンチマークでは、作業タスクの自動化に関するモデルをランク付けしている。 しかし、実際には、モデルは他の(人間またはLLM)エージェントを支援するためにしばしば使用される。 我々は、他のエージェントのパフォーマンスを自動化および拡張するモデルの能力を評価する統一的なフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most LLM benchmarks rank models on their ability to automate work tasks. In practice, however, models are often used to assist other (human or LLM) agents. The question that drives model selection is therefore not only which model produces the best output, but which model most improves the work of another (weaker) agent. We introduce a unified framework that evaluates the capability of models to automate and augment another agent's performance. Across seven economically grounded real-world tasks, an assistant model writes assistance text for a standardized lower-capacity worker model, which produces the deliverable. In automation mode, the assistant produces the output directly. Outputs are scored through blind pairwise comparisons by an LLM judge panel with task-specific rubrics, replicated across ten runs. Rankings across the two regimes are only modestly correlated, and the automation winner loses augmentation on five of seven tasks. Assistance is not reliably positive. The unaided worker outranks every assisted condition on three tasks, and only one model's guidance beats no guidance on average. These results suggest that automation ability is an incomplete proxy for assistance quality, motivating benchmarks that evaluate models according to the roles they play in human-AI and multi-agent systems.
• Abstract（参考訳）: ほとんどのLCMベンチマークは、作業タスクの自動化に関するモデルをランク付けしている。 しかし、実際には、モデルは他の(人間またはLLM)エージェントを支援するためにしばしば使用される。 したがって、モデル選択を駆動する問題は、どのモデルが最高の出力を生成するかだけではなく、どのモデルが他の(ウィーカー)エージェントの作業を改善するかである。 我々は、他のエージェントのパフォーマンスを自動化および拡張するモデルの能力を評価する統一的なフレームワークを導入する。 7つの経済的基盤を持つ実世界のタスクに対して、アシスタントモデルは、標準化された低容量労働者モデルのための支援テキストを書き、成果物を生成する。 自動化モードでは、アシスタントは出力を直接生成する。 アウトプットは10回のランで複製されるタスク固有のルーリックとLCMの審査パネルで盲対比較によって得られる。 2つの体制のランクはわずかに相関しているだけであり、自動化の勝者は7つのタスクのうち5つで増員を失う。 援助は確実に肯定的ではない。 不明な作業員は、3つのタスクですべてのアシスト条件を上回り、1つのモデルのガイダンスだけが平均的なガイダンスを上回りません。 これらの結果は、自動化能力が補助品質の不完全なプロキシであり、人間-AIやマルチエージェントシステムでの役割に応じてモデルを評価するベンチマークを動機付けていることを示唆している。

関連論文リスト

• Q-Learning With World Models [69.63968749241239]
  本稿では,Qラーニング上の実測軌道上でテスト時間探索を行い,高価値な行動を選択するために世界モデルを活用するフレームワークを提案する。 QWMは, 試料効率と性能の両方において, 従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-08-17T22:00:42Z)
• Sample-Efficient Robot Skill Learning for Construction Tasks: Benchmarking Hierarchical Reinforcement Learning and Vision-Language-Action VLA Model [9.025728945376468]
  本研究は,建設ロボットに新しいスキルを教えるための2つの主要なアプローチを評価する。 目標は、タスクパフォーマンスと、実際のジョブに各アプローチをデプロイするために必要な実践的労力の両方を理解することです。
  論文  参考訳（メタデータ） (2025-12-16T02:56:13Z)
• VisualPRM: An Effective Process Reward Model for Multimodal Reasoning [76.35753243272521]
  既存のマルチモーダル大言語モデル(MLLM)の推論能力を改善するVisualPRMを導入する。 我々のモデルは7つのマルチモーダル推論ベンチマークで5.9ポイントの改善を実現している。 マルチモーダルPRMの評価のために,人間に注釈付きステップワイズラベルを付したベンチマークであるVisualProcessBenchを提案する。
  論文  参考訳（メタデータ） (2025-03-13T12:03:37Z)
• AgentRM: Enhancing Agent Generalization with Reward Modeling [78.52623118224385]
  報酬モデルを微調整して政策モデルを導くことは、政策モデルを直接微調整するよりも、より堅牢であることがわかった。 本稿では,効率的なテスト時間探索のためのポリシーモデルを導出するために,一般化可能な報酬モデルであるAgentRMを提案する。
  論文  参考訳（メタデータ） (2025-02-25T17:58:02Z)
• Assessing the Performance of Human-Capable LLMs -- Are LLMs Coming for Your Job? [0.0]
  SelfScoreは、ヘルプデスクとプロのコンサルティングタスクにおけるLLM(Large Language Model)の自動エージェントのパフォーマンスを評価するために設計されたベンチマークである。 このベンチマークは、問題の複雑さと応答の助け、スコアリングシステムにおける透明性と単純さの確保に関するエージェントを評価する。 この研究は、特にAI技術が優れている地域では、労働者の移動の可能性への懸念を提起している。
  論文  参考訳（メタデータ） (2024-10-05T14:37:35Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Large Language Models Can Self-Improve At Web Agent Tasks [37.17001438055515]
  大規模言語モデル(LLM)は、ゼロショットまたは少数ショットの方法でエージェントとして新しい環境をナビゲートする機能を最近デモした。 WebArena ベンチマークを用いて,LLM が長期タスクにおけるエージェントとしての性能を自己向上する方法について検討した。 自己改善手順により,WebArenaベンチマークのベースモデルよりもタスク完了率を31%向上させる。
  論文  参考訳（メタデータ） (2024-05-30T17:52:36Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Classification Under Human Assistance [29.220005688025378]
  教師付き学習モデルでは、異なる自動化レベル下での運用が、完全な自動化のためにトレーニングされた者や、単独で運用する人間よりも優れていることを示す。 医学診断におけるいくつかの応用から得られた合成および実世界のデータに関する実験は、我々の理論的知見を示している。
  論文  参考訳（メタデータ） (2020-06-21T16:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。