論文の概要: BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents

• arxiv url: http://arxiv.org/abs/2605.29225v1
• Date: Thu, 28 May 2026 01:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 05:02:24.552433
• Title: BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents
• Title（参考訳）: BenchTrace: LLMエージェントのリフレクション能力と制御された進化をテストするベンチマーク
• Authors: Jiahao Huang, Fei Cheng, Junfeng Jiang, Zefan Yu, Akiko Aizawa,
• Abstract要約: LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。 BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。 エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
• 参考スコア（独自算出の注目度）: 24.997265534888626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving agents improve over time by reflecting on past failures, but existing evaluation is limited in two ways: it measures only task scores, leaving reflection quality unknown, and it relies on agents' own episode runs, offering no mechanism to target specific failure patterns. We present \textbf{BenchTrace}, a benchmark for evaluating self-evolution ability in LLM agents. BenchTrace is built on a snapshot-reflection dataset of 1,821 annotated episodes spanning six diverse tasks, and comprises a \textbf{Reflection Evaluation} that probes failure identification through targeted QA tasks, and an \textbf{Evolution Evaluation} that tests whether past failure experience translates into avoidance behavior in a controlled self-evolution simulation. Building on BenchTrace, we propose \textbf{failure avoidance rate (FAR)}, a new evaluation metric measuring the fraction of test cases in which the agent successfully avoids the target failure instance. Experiments with Qwen3-32B and GPT-4.1 reveal that both models fall below a 30\% end-to-end pass rate on reflection evaluation, with diagnosis as the primary bottleneck. Evolution evaluation shows that self-evolution methods generally improve FAR over the non-evolving baseline, but agents forget early lessons as noise episodes accumulate, and agents fail to generalize their reflections beyond the specific context, causing negative transfer across task contexts. Our correlation analysis further reveals that only a fully correct reflection is strongly associated with higher FAR. BenchTrace exposes concrete limits of current self-evolution approaches and provides a controlled, model-agnostic framework for targeted evaluation.
• Abstract（参考訳）: 自己進化エージェントは過去の障害を反映することで時間とともに改善するが、既存の評価は、タスクスコアのみを測定し、リフレクションの品質を未知にし、エージェント自身のエピソードの実行に依存し、特定の障害パターンをターゲットするメカニズムを提供しない、という2つの方法に制限されている。 LLM エージェントの自己進化能力を評価するためのベンチマークである \textbf{BenchTrace} を提案する。 BenchTraceは、6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されており、ターゲットとするQAタスクを通じて障害識別を調査する \textbf{Reflection Evaluation} と、過去の障害経験が制御された自己進化シミュレーションで回避行動に変換されるかどうかをテストする \textbf{Evolution Evaluation} で構成されている。 BenchTrace 上に構築した新たな評価尺度である textbf{failure avoidance rate (FAR) を提案する。 Qwen3-32B と GPT-4.1 による実験では、どちらのモデルも反射評価において30 % のエンド・ツー・エンド・パスレート以下となり、診断が主要なボトルネックとなっている。 進化的評価では、自己進化的手法は一般的に非進化的ベースラインよりもFARを改善するが、ノイズエピソードが蓄積されるにつれてエージェントは早期レッスンを忘れ、エージェントは特定のコンテキストを超えて反射を一般化せず、タスクコンテキスト間で負の伝達を引き起こす。 また, 相関解析により, 完全正反射のみが高いFARと強く関連していることが明らかになった。 BenchTraceは、現在の自己進化アプローチの具体的な限界を明らかにし、ターゲット評価のための制御されたモデルに依存しないフレームワークを提供する。

関連論文リスト

• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs [63.88783817420284]
  ロボットは、何がどうなったのか、なぜ失敗したのかを反映できず、展開を一連の独立した試行に転換する。 リフレクティブテストタイムプランニングを導入し、リフレクティブの2つのモードを統合する:textitreflection-in-actionと textitreflection-on-action また、振り返りのリフレクションが含まれており、エージェントは事前の判断を再評価し、後向きでモデル更新を実行できます。
  論文  参考訳（メタデータ） (2026-02-24T18:55:18Z)
• RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
  事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。 現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。 MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
  論文  参考訳（メタデータ） (2026-02-13T12:56:31Z)
• Evaluating Self-Correcting Vision Agents Through Quantitative and Qualitative Metrics [0.0]
  Vision-Language Agents (VLA) は複雑な視覚タスクを実行可能なツールベースの計画に分解することができる。 最近のベンチマークでは反復的自己補正の評価が始まっているが、その量的制限と支配的な推論ボトルネックはいまだに不十分である。
  論文  参考訳（メタデータ） (2026-01-14T15:17:11Z)
• AgentDevel: Reframing Self-Evolving LLM Agents as Release Engineering [8.201374511929538]
  AgentDevelは、現行のエージェントを反復的に実行するリリースエンジニアリングパイプラインである。 実行トレースから実装盲の症状レベルの品質信号を生成する。 主要な症状パターンを集約し、監査可能なエンジニアリング仕様を生成する。
  論文  参考訳（メタデータ） (2026-01-08T05:49:01Z)
• Reflective Confidence: Correcting Reasoning Flaws via Online Self-Correction [14.164508061248775]
  大規模言語モデル(LLM)は、チェーン・オブ・ソートや自己整合性といった技術を用いて、複雑な推論タスクにおいて強力なパフォーマンスを実現している。 本稿では,低信頼信号を終端指標からリフレクショントリガに変換する新しい推論フレームワークであるリフレクティブ信頼を提案する。 AIME 2025を含む数学的推論ベンチマークの実験では、高度な早期停止ベースラインに対して、同等の計算コストで大幅に精度が向上した。
  論文  参考訳（メタデータ） (2025-12-21T05:35:07Z)
• Self-Reflective Generation at Test Time [42.02273611421918]
  大規模言語モデル(LLM)は、長いチェーン・オブ・シークレットを通じて複雑な推論タスクを徐々に解決する。 既存の自己修正は、完全なドラフトに対して修正を行うか、高価なトレーニングを通じて自己修正を学ぶ。 テスト時間における自己回帰生成(SRGen)は、不確実な点で生成する前に反映する軽量なテスト時間フレームワークである。
  論文  参考訳（メタデータ） (2025-10-03T11:46:04Z)
• Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
  本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。 我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。 オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T23:50:46Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。