論文の概要: Coding-Agent Benchmarks Should Match Their Users' Task Flows

• arxiv url: http://arxiv.org/abs/2610.09633v2
• Date: Sun, 11 Oct 2026 11:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.527353
• Title: Coding-Agent Benchmarks Should Match Their Users' Task Flows
• Title（参考訳）: コーディングベースのベンチマークはユーザのタスクフローにマッチする
• Abstract要約: SWE-TaskFlowは、問題由来のベンチマークタスクを変換するためのアプローチである。 ターゲットのタスクフローに向けてインタラクションを操りながら、検証済みのタスクとテストを保存する。 700のSWE-Bench Proタスクのパイロットでは、いくつかのステップでタスクを逐次解決することでエージェントコストが約2倍になった。
• 参考スコア（独自算出の注目度）: 0.7364513793981815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of coding agents generally strives to be as realistic as possible. In our study, we collect 4,782 agent sessions of real software engineers in JetBrains IDEs, which we call Production Sessions. Since our subject is interactive agents, we study the sessions with at least three user messages (33% of the sample). These long sessions differ from issue-derived benchmark tasks in two ways: (i) user requests span a far wider mix of task types - questions about the project's code, planning, review, refactoring, execution - and (ii) users switch between types throughout a session. Long-session samples from three public interaction corpora exhibit markedly different Task Flows (the distributions of session lengths, task types, and type-to-type transitions), so no single interaction distribution is universally realistic: benchmarks should name a target use case and calibrate to measurements from it. We present SWE-TaskFlow, an approach for transforming any issue-derived benchmark: it preserves the verified tasks and tests while steering the interaction toward a target Task Flow through prompt splitting and verifiable repository QA, with a TaskFlow Alignment Score (TFAS) for selecting among generated trajectories. In a pilot on 700 SWE-Bench Pro tasks, solving the task sequentially in several steps approximately doubles agent cost without a stable change in resolve rate: the interaction protocol itself is an important dimension of evaluation.
• Abstract（参考訳）: コーディングエージェントの評価は、一般的にできるだけ現実的であるように努力する。 本研究では,JetBrains IDE で実ソフトウェア技術者のエージェントセッションを4,782 件収集し,プロダクションセッションと呼ぶ。 対象は対話型エージェントであるため,少なくとも3つのユーザメッセージ(サンプルの33%)を用いてセッションを調査する。 これらの長いセッションは、イシュー由来のベンチマークタスクとは2つの点で異なります。 i) ユーザ要求は、プロジェクトのコード、計画、レビュー、リファクタリング、実行に関する質問、そして、より広範なタスクタイプにまたがる。 (ii)セッション中にタイプを切り替える。 3つの公開相互作用コーパスからの長いセッションサンプルは、明らかに異なるタスクフロー(セッションの長さ、タスクタイプ、タイプ間遷移の分布)を示すため、単一のインタラクションの分布は普遍的に現実的ではない。 SWE-TaskFlowは、任意の問題由来のベンチマークを変換するアプローチであり、即時分割および検証可能なリポジトリQAを通じて、ターゲットのタスクフローに対するインタラクションを操りながら、検証されたタスクとテストを保存する。 700のSWE-Bench Proタスクのパイロットでは、いくつかのステップでタスクを逐次解くことで、解決率の安定な変更なしにエージェントコストが約2倍になる。

関連論文リスト

• Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
  Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。 有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。 我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
  論文  参考訳（メタデータ） (2026-01-28T00:36:13Z)
• SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents [31.921127664873882]
  LLMベースのエージェントは、SWE(Software Engineering)タスクの増加に期待できる能力を示している。 高品質なトレーニングデータは、特に現実世界のSWEシナリオを反映したデータが少ない。 既存のデータセットはワンショットのコード生成に限られるか、小さな手作業による対話的なタスクのコレクションで構成されている。
  論文  参考訳（メタデータ） (2025-05-26T18:01:00Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• RMP-SAM: Towards Real-Time Multi-Purpose Segment Anything [117.02741621686677]
  この研究はリアルタイム多目的セグメンテーションと呼ばれる新しいリアルタイムセグメンテーション設定を探索する。 インタラクティブセグメンテーション、パノスコープセグメンテーション、ビデオインスタンスセグメンテーションの3つの基本的なサブタスクを含んでいる。 動的畳み込みに基づく新しい動的畳み込み手法であるReal-Time Multi-Purpose SAM(RMP-SAM)を提案する。 効率的なエンコーダと、プロンプト駆動のデコードを実行するための効率的なデカップリングアダプタを含む。
  論文  参考訳（メタデータ） (2024-01-18T18:59:30Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。