論文の概要: Task-Efficient Agent Evaluation Using Cached Traces

• arxiv url: http://arxiv.org/abs/2611.06803v1
• Date: Wed, 04 Nov 2026 17:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.214965
• Title: Task-Efficient Agent Evaluation Using Cached Traces
• Title（参考訳）: キャッチトレースを用いたタスク効率の良いエージェント評価
• Abstract要約: エージェントシステムは、それぞれの実行毎にリッチなトレースを生成し、その能力についてかなり明らかにすることができる。 本稿では,LLMを用いて構造化された要約を抽出し,その要約を標準テキストエンコーダに埋め込むことにより,トレースを表現することを提案する。 我々は,システムの低次元表現を構築し,参照システム間の位置から新しいシステムのスコアを予測する。
• 参考スコア（独自算出の注目度）: 0.3366038232188622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient benchmarking estimates a system's full benchmark performance from a small number of task executions. Standard approaches rely solely on the binary correctness of executions from a collection of already-evaluated reference systems. An agentic system, however, produces a rich trace for each execution that can reveal substantially more about its capabilities. Leveraging this information requires useful trace representations. We propose representing a trace by extracting a structured summary of it with an LLM and embedding the summary with a standard text encoder. These representations preserve correctness- and task-related signal while minimizing the presence of system identity-, model family- and harness-related signals that dominate raw trace embeddings. Given this representation for each task execution from all reference systems, we construct low-dimensional representations of the systems and predict a new system's score from its position among the reference systems. On SWE-bench Verified and Terminal-Bench 2.0, augmenting an item-response model with this geometry-based prediction reduces mean absolute error from 0.13 to 0.08 (Wilcoxon $p < 10^{-4}$) and from 0.14 to 0.12 (Wilcoxon $p < 10^{-3}$), respectively, when provided a single random executed task. Further, given access to the full set of reference systems, our approach dominates baselines for any given number of executed tasks on both benchmarks.
• Abstract（参考訳）: 効率的なベンチマークは、少数のタスク実行からシステムの完全なベンチマーク性能を推定する。 標準的なアプローチは、すでに評価済みの参照システムの集合からの実行のバイナリの正しさにのみ依存する。 しかしエージェントシステムは、各実行毎にリッチなトレースを生成し、その能力についてかなり明らかにすることができる。 この情報を活用するには、有用なトレース表現が必要である。 本稿では,LLMを用いて構造化された要約を抽出し,その要約を標準テキストエンコーダに埋め込むことにより,トレースを表現することを提案する。 これらの表現は、生のトレース埋め込みを支配するシステムアイデンティティ、モデルファミリーおよびハーネス関連信号の存在を最小限に抑えながら、正当性およびタスク関連信号を保存する。 すべての参照システムからのタスク実行毎にこの表現が与えられると、システムの低次元表現を構築し、参照システム間の位置から新しいシステムのスコアを予測する。 SWE-bench Verified と Terminal-Bench 2.0 では、この幾何に基づく予測によるアイテム応答モデルの拡張により、平均絶対誤差は 0.13 から 0.08 (Wilcoxon $p < 10^{-4}$) と 0.14 から 0.12 (Wilcoxon $p < 10^{-3}$) に減少する。 さらに、参照システムの完全な集合にアクセスすると、両方のベンチマーク上で実行されたタスクの数に対して、我々のアプローチはベースラインを支配します。

関連論文リスト

• TraceCoder: Explainable and Auditable Code Generation with Position-Key Snippet Versioning [0.0]
  本稿では,3つの相補的なメカニズムによる欠点に対処するコード生成概念を提案する。 リレーショナルスニペット履歴スキーマレコード、修理イベント毎、ベンチマークリファレンス、ラウンド番号、障害テキスト、説明。 ブラウザベースの視覚化ツールは、この履歴をヒートマップされたホバリング注釈付きソースコードとして表現する。
  論文  参考訳（メタデータ） (2026-07-28T22:03:52Z)
• From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
  セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。 人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。 ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
  論文  参考訳（メタデータ） (2026-06-03T14:26:25Z)
• Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts [22.060204303535187]
  システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。 本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。 本稿では,ベイズ最適化フレームワークReElicitを紹介する。
  論文  参考訳（メタデータ） (2026-05-18T20:28:17Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
  デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。 本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。 OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
  論文  参考訳（メタデータ） (2026-02-06T19:55:26Z)
• Benchmarking Small Language Models and Small Reasoning Language Models on System Log Severity Classification [3.192782465393035]
  最終タスクとしてではなく,実行時ログ理解のためのベンチマークとして扱われる場合,重大度分類の方が有益である,と我々は主張する。 9つの小言語モデル (SLM) と小推論言語モデル (SRLM) をゼロショット, 少数ショット, 検索強化世代 (RAG) のプロンプトで評価した。
  論文  参考訳（メタデータ） (2026-01-12T18:02:33Z)
• Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
  我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。 我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。 Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
  論文  参考訳（メタデータ） (2025-10-30T07:29:14Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• Importance Sampling is All You Need: Predict LLM's performance on new benchmark by reusing existing benchmark [38.42021928363628]
  既存のベンチマークは、(1)高品質なテストスイートと参照ソリューションを構築するためのエスカレートコスト、(2)データ汚染のリスクの増加という2つの大きな課題に直面している。 我々は,コード生成タスク上でのLLM性能のゼロトラストフリー予測を可能にする,プロンプト中心評価フレームワークであるBISを提案する。 本フレームワークでは,コード正当性スコアの平均絶対誤差が1.1%であり,それぞれ0.3%,最悪のエラーが1.9%である。
  論文  参考訳（メタデータ） (2025-08-02T05:34:05Z)
• Towards More Robust NLP System Evaluation: Handling Missing Scores in Benchmarks [9.404931130084803]
  本稿は,NLP研究における既存の問題として,タスク中にシステムスコアが欠落している場合のベンチマークを定式化する。 既存のベンチマークよりも桁違いに大きい1億3100万以上のスコアを含む拡張ベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。