論文の概要: Selective Critique for Cost-Aware LLM Agents in Long-Horizon Decision Making

• arxiv url: http://arxiv.org/abs/2610.07335v1
• Date: Mon, 05 Oct 2026 20:09:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.640864
• Title: Selective Critique for Cost-Aware LLM Agents in Long-Horizon Decision Making
• Title（参考訳）: 低コストLCM剤の長期意思決定における選択的批判
• Abstract要約: SAG(Self-improving Agent with Gated critique)は,段階的決定問題として批判実行を定式化するためのコスト対応フレームワークである。 SAGは,非批判的,常に批判的である両エージェントと比較して,パフォーマンスコストのトレードオフを大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 5.486517260361978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving the reliability of large language model (LLM) agents in long-horizon decision-making remains a key challenge. When deployed as autonomous agents interacting with complex environments, early mistakes can propagate through trajectories and cause cascading failures. Recent approaches improve reliability by incorporating external critique or deliberation, but invoking these mechanisms at every step substantially increases token consumption and latency, limiting practical deployment. We propose SAG (Self-improving Agent with Gated critique), a cost-aware framework that formulates critique invocation as a step-wise decision problem during long-horizon interaction. SAG introduces a lightweight, training-free gating mechanism that estimates the utility of critique using action-level ambiguity signals--global entropy and local top-2 margin--computed over admissible actions. From a decision-theoretic perspective, this mechanism approximates the Value of Information (VoI) of critique, enabling the agent to selectively allocate expensive feedback only when its expected benefit justifies the cost. SAG further incorporates online bootstrapped self-improvement, allowing the actor to internalize critic-assisted behaviors and progressively reduce reliance on critique. Across three long-horizon interactive benchmarks and multiple backbone models, SAG substantially improves the performance-cost trade-off compared with both no-critique and always-on critique agents. On ALFWorld, SAG increases task success from 24.6% to 78.4% while maintaining a token budget comparable to ReAct, yielding a $3.1\times$ improvement in normalized token efficiency. Moreover, a 7B actor with a lightweight 3B critic achieves performance comparable to a 14B actor without critique, showing that selective critique can recover most of the reliability benefits of deliberation while dramatically reducing inference cost.
• Abstract（参考訳）: 長期的意思決定における大規模言語モデル(LLM)エージェントの信頼性向上は重要な課題である。 複雑な環境と相互作用する自律的なエージェントとしてデプロイされると、早期のミスは軌道を介して伝播し、カスケード障害を引き起こす。 最近のアプローチでは、外部の批判や熟考を取り入れて信頼性を向上させるが、各ステップでこれらのメカニズムを呼び出すとトークンの消費と遅延が大幅に増加し、実際のデプロイが制限される。 SAG(Self-improving Agent with Gated critique)は、長期にわたる相互作用において、段階的決定問題として批判実行を定式化するためのコスト対応フレームワークである。 SAGは、行動レベルのあいまいさ信号(-global entropy と local top-2 margin-computed over admissible action)を用いて批評の有用性を推定する、軽量でトレーニング不要なゲーティング機構を導入している。 決定論的観点から、このメカニズムは情報の価値(VoI)を近似し、期待される利益がコストを正当化する場合にのみ、エージェントが高価なフィードバックを選択的に割り当てることを可能にする。 SAGはさらに、オンラインの自己改善を取り入れており、アクターは批評家が支援する行動の内部化と、批判への依存を徐々に減らすことができる。 3つの長期の対話型ベンチマークと複数のバックボーンモデルにおいて、SAGは非批判的および常に批判的なエージェントと比較して、パフォーマンスコストのトレードオフを大幅に改善する。 ALFWorldでは、SAGはタスク成功率を24.6%から78.4%に引き上げ、ReActに匹敵するトークン予算を維持し、正規化トークン効率を3.1\times$改善した。 さらに、軽量な3B批評家を持つ7Bアクターは、批評のない14Bアクターに匹敵するパフォーマンスを達成し、選択的批評は、推論コストを劇的に低減しつつ、検討の信頼性の利点を回復することができることを示す。

関連論文リスト

• Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR [18.523561366846778]
  $PPOは、価値推定のための自己特権のアクター批判フレームワークである。 $PPOは、一定のマージンで、常に価値推定品質を改善します。
  論文  参考訳（メタデータ） (2026-09-29T15:32:21Z)
• CARE-VI: Conservative Adaptive Reliability Estimation for Value Improvement in Off-Policy Actor-Critic Learning [9.09344103114193]
  我々は、保守的適応ランク付け・スクリーニング(CARS)とセレクタ・評価値アセスメント(SEVA)を開発する。 DAREは、候補信頼性、セレクタと評価器信号のギャップ、および有限ステージ係数を用いて、各残差補正を規制する。 CARE-VIは、批評家のレグレッションとアクターのアップデートのためのバックボーンインターフェースを保存するエビデンス規制されたターゲット構築フレームワークである。
  論文  参考訳（メタデータ） (2026-09-17T11:59:43Z)
• CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
  大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。 これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。 CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-08-31T01:59:51Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• VISCO: Benchmarking Fine-Grained Critique and Correction Towards Self-Improvement in Visual Reasoning [112.35483894933904]
  我々は,LVLMの細粒度評価と補正能力を広範囲に解析する最初のベンチマークであるVISCOを提案する。 VISCOは密度が高くきめ細かな批判を特徴とし、LVLMは各ステップの正しさを評価する必要がある。 LookBackは、批評と修正のパフォーマンスを最大13.5%改善する。
  論文  参考訳（メタデータ） (2024-12-03T05:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。