論文の概要: EvoCowork: A Benchmark for Real-World Office Tasks

• arxiv url: http://arxiv.org/abs/2610.14828v1
• Date: Sat, 10 Oct 2026 11:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.12347
• Title: EvoCowork: A Benchmark for Real-World Office Tasks
• Title（参考訳）: EvoCowork: 実世界のオフィスタスクのベンチマーク
• Abstract要約: EvoCoworkは、4つのオフィスモードで自己改善を評価する240タスクのベンチマークである。 そのプロトコルはフィードバック、リビジョンの選択、最終テストを分離する。 最高設定は総合42.25点、クロスオフィスでは30.62点である。
• 参考スコア（独自算出の注目度）: 15.379142918215033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Office workflows are a demanding testbed for self-improving agents because their deliverables must be correct, natively editable, and mutually consistent. A central question is whether gains on feedback tasks reflect reusable procedures rather than task-specific fixes. We introduce EvoCowork, a 240-task benchmark for evaluating harness-level recursive self-improvement across four office modalities, with model weights held fixed. The benchmark covers presentations, documents, spreadsheets, and cross-office workflows, and scores submitted artifacts for content, native structure, formulas, cross-file consistency, and visual quality where needed. Its protocol separates feedback, revision selection, and final testing: methods learn from single-modality tasks, then are evaluated on unseen single-modality tasks and cross-office workflows under a shared initial harness and explicit budgets. In static evaluations of two models and four harnesses, the best configuration scores 42.25 overall and 30.62 on cross-office tasks. Starting from the same MSA harness with GLM 5.3, ACE and AHE improve in-domain scores by 4.90 and 2.64 points, respectively, but change cross-office scores by only +0.03 and -1.72. Thus, gains on the file types that provide feedback do not necessarily transfer to coordinated workflows. EvoCowork makes this distinction explicit while recording the capability, transfer, and cost of harness evolution. Code and task packages: https://github.com/DeepThinkingZhouLiu/cowork-evolution-benchmark.
• Abstract（参考訳）: オフィスワークフローは、その成果物が正確で、ネイティブに編集可能で、相互に一貫性がある必要があるため、自己改善エージェントに対する要求の高いテストベッドである。 中心的な問題は、フィードバックタスクの利得がタスク固有の修正よりも再利用可能な手順を反映しているかどうかである。 エボコワーク(EvoCowork)は、4つのオフィスモダリティにまたがるハーネスレベルの再帰的自己改善を評価する240タスクのベンチマークである。 このベンチマークでは、プレゼンテーション、ドキュメント、スプレッドシート、クロスオフィスワークフロー、コンテンツ、ネイティブ構造、公式、ファイル間の一貫性、必要に応じて視覚的品質などのアーティファクトが提供されている。 そのプロトコルはフィードバック、リビジョンの選択、最終テストを分離する: メソッドは単一のモダリティタスクから学び、未確認の単一モダリティタスクと、共有された初期ハーネスと明示的な予算の下でクロスオフィスワークフローで評価される。 2つのモデルと4つのハーネスの静的評価では、最高の構成は、クロスオフィスタスクで42.25点、30.62点である。 GLM 5.3と同じMSAハーネスから、ACEとAHEはそれぞれ4.90点と2.64点の改善を行ったが、クロスオフスコアは0.03点と-1.72点の変更しかなかった。 したがって、フィードバックを提供するファイルタイプのゲインは、必ずしも調整されたワークフローに転送されるとは限らない。 EvoCoworkはこの区別を明確化し、進化の能力、移動、コストを記録している。 コードとタスクパッケージ:https://github.com/DeepThinkingZhouLiu/cowork-evolution-benchmark。

関連論文リスト

• Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
  セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
  論文  参考訳（メタデータ） (2026-10-13T01:52:19Z)
• Streamlined Reflective Evolution for Task-Adaptive Self-Refinement Pipelines [7.344577590113121]
  本稿では,自己精製パイプラインの反射的進化を合理化するためのフレームワークを提案する。 最小限のプロンプトから始めて、WDAはステージ命令とそのシーケンシャル構造を共同で進化させる。 WDAは、知識、数学的推論、マルチホップ質問応答、そして指示に従う5つのベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-09-26T10:45:36Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• SkillCAT: Contrastive Assessment and Topology-Aware Skill Self-Evolution for LLM Agents [42.30624901249764]
  現在のパイプラインはタスク毎の1つのトラックから学び、チェックする前に候補スキルパッチをマージし、推論前にフルスキルコーパスをロードする。 トレーニング不要のフレームワークであるSkillCATを提案し,このプロセスを3段階に分けた。 SpreadsheetBench,WikiTableQuestions,DocVQAなど,一般的なエージェントベンチマーク上でSkillCATを評価する。
  論文  参考訳（メタデータ） (2026-06-11T13:12:10Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)
• SciRepEval: A Multi-Format Benchmark for Scientific Document Representations [52.01865318382197]
  SciRepEvalは、科学文書表現のトレーニングと評価のための最初の総合的なベンチマークである。 SPECTERやSciNCLのような最先端のモデルが、タスクフォーマットをまたいだ一般化にどのように苦労しているかを示す。 ドキュメント毎に複数の埋め込みを学習する新しいアプローチは、それぞれ異なるフォーマットに合わせて、パフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-23T21:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。