論文の概要: Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

• arxiv url: http://arxiv.org/abs/2607.12397v1
• Date: Tue, 14 Jul 2026 06:17:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.050737
• Title: Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents
• Title（参考訳）: 批判体験銀行:LLMエージェントの自己進化ステップレベル信頼度推定
• Abstract要約: LLMエージェントは、各アクションが後続の判断条件の状態を変更し、1つの間違ったステップが相互作用予算を無駄にしたり、最終失敗が観測されるずっと前に不可逆的な副作用を引き起こす可能性がある外部環境において作用する。 LLM批判者が過去の判断と観察結果から証拠を蓄積する自己進化的批判フレームワーク(methodshort)を導入する。
• 参考スコア（独自算出の注目度）: 7.774009529494805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents act in external environments where each action changes the state that later decisions condition on, and where a single wrong step can waste interaction budget or trigger irreversible side effects long before the final failure is observed. Reliable deployment therefore requires \emph{step-level confidence estimation}: a calibrated probability that each proposed action is productive, available \emph{before} the action is executed. Existing LLM confidence estimators are designed to score a response from the given prompt, but agent confidence also depends on execution consequences: whether similar actions in similar situations actually advanced the task after the environment responded. We introduce the \method (\methodshort), a self-evolving critic framework in which an LLM critic accumulates evidence from its own past judgments and their observed consequences. After each trajectory, a hindsight LLM that sees the full execution feedback votes on whether each step was productive. The resulting pseudo-labels populate a memory bank from which related productive and unproductive experiences are retrieved into the critic's prompt whenever a similar step recurs. \methodshort requires no training and uses no ground truth step labels. Across three agent benchmarks and three critic backbones, \methodshort attains the best calibration (ECE and Brier) and ranking (AUC) in every dataset--critic combination, reducing ECE by up to $54\%$ relative to the strongest training-free baseline.
• Abstract（参考訳）: LLMエージェントは、各アクションが後続の判断条件の状態を変更し、1つの間違ったステップが相互作用予算を無駄にしたり、最終失敗が観測されるずっと前に不可逆的な副作用を引き起こす可能性がある外部環境において作用する。 したがって、信頼性の高いデプロイメントには、各アクションが生産的であるというキャリブレーションされた確率である \emph{step-level confidence estimation} が必要である。 既存のLCM信頼度推定器は、与えられたプロンプトから応答を評価するように設計されているが、エージェント信頼度は実行結果にも依存する。 我々は, LLM批判者が過去の判断と観察結果から証拠を蓄積する自己進化的批判フレームワークである<methodshort(\methodshort)を紹介した。 各行の後に、各ステップが生産的であるかどうかについての完全な実行フィードバック投票を見る後向きのLCM。 結果の擬似ラベルは、類似のステップが再帰するたびに、関連する生産的および非生産的な経験が批評家のプロンプトに取得されるメモリバンクをポップアップさせる。 \methodshortはトレーニングを必要とせず、根拠となる真理のステップラベルを使用しない。 3つのエージェントベンチマークと3つの批判的バックボーンで,‘methodshort’は,データセット-クリティカルの組み合わせ毎に最高のキャリブレーション(ECEとBrier)とランキング(AUC)を達成している。

関連論文リスト

• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Can LLM Rerankers Predict Their Own Ranking Performance? [73.21268576961573]
  テキスト・リランカ内部QPPについて検討し, LLMリランカが生成したランキングの質を推定できるか? 学習自由度推定には, サンプルランキング間の距離特異な自己整合性と, リランカが直接生成する言語的信頼度を検討した。 TREC Deep Learning 2019--2022の4つのLCMによる実験では、自己整合性は最先端(SOTA)アプローチと競合し、ほぼすべての設定でキャリブレーションが向上している。 言語的信頼を改善するために,2つの教師付き方法,Verbを提案する。
  論文  参考訳（メタデータ） (2026-06-02T11:57:27Z)
• BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
  LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。 BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。 エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:25:37Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
  プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。 タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
  論文  参考訳（メタデータ） (2026-03-03T15:47:41Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Self-Evaluating LLMs for Multi-Step Tasks: Stepwise Confidence Estimation for Failure Detection [1.1087735229999818]
  自己評価型大規模言語モデル(LLM)は、複雑な推論において有意義な信頼度推定を提供する。 ステップワイズ評価は一般的に、潜在的なエラーを検出する際の総合的なスコアよりも優れている。
  論文  参考訳（メタデータ） (2025-11-10T18:19:51Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。