論文の概要: Don't Solve, Just Compare: Tiny Advisors for Runtime Intervention in LLM Agents

• arxiv url: http://arxiv.org/abs/2608.21027v1
• Date: Fri, 21 Aug 2026 12:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.524234
• Title: Don't Solve, Just Compare: Tiny Advisors for Runtime Intervention in LLM Agents
• Title（参考訳）: LLMエージェントのランタイムインターベンションのアドバイスは、ただ比較するだけで解決するな。
• Abstract要約: LLMエージェントは、推論、ツールの使用、シーケンシャルな意思決定を必要とする現実世界のタスクにとって重要なパラダイムとして浮上しています。 既存のアプローチは、しばしば専門家の問題解決者や、タスク固有の修正を生成する批評家に依存している。 コンストラクティブランタイム介入のための比較専用フレームワークであるCOTA(Comparent-Only Tiny Advisor)を紹介する。
• 参考スコア（独自算出の注目度）: 12.20001133898725
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM agents are emerging as an important paradigm for real-world tasks that require reasoning, tool use, and sequential decision-making. As these agents operate over longer horizons, runtime intervention offers a way to improve reliability without retraining the underlying actor. Failure detection alone is insufficient. Effective intervention must also provide a useful direction for recovery. Existing approaches often rely on an expert solver or a critic that generates task-specific corrections, incurring either the cost of another capable solver or the capacity demands of a task-capable critic. We introduce Comparison-Only Tiny Advisor (COTA), a comparison-only framework for constructive runtime intervention. In COTA, a tiny comparator judges whether sampled alternatives lead to better continuations than the actor's proposal, and repeated comparisons determine when intervention is warranted. We train the comparator using pairwise supervision constructed from same-prefix counterfactual branches. Preferred alternatives are returned as non-binding advice, leaving the original actor to replan. Across WebShop, ALFWorld, and tau^3-Retail with three actors, COTA improves all nine evaluation settings and outperforms the compared baselines. These results show that constructive runtime intervention can remain effective even when the auxiliary model has substantially weaker task-solving capability than the actor.
• Abstract（参考訳）: LLMエージェントは、推論、ツールの使用、シーケンシャルな意思決定を必要とする現実世界のタスクにとって重要なパラダイムとして浮上しています。 これらのエージェントはより長い地平線上で動作するため、実行時の介入は、基盤となるアクターを再トレーニングすることなく、信頼性を向上させる手段を提供する。 故障検出だけでは不十分です。 効果的な介入は、回復に有用な方向を提供する必要がある。 既存のアプローチはしばしば、タスク固有の修正を生成する専門家の解決者や批評家に依存し、他の有能な解決者のコストやタスク能力のある批評家のキャパシティ要求を発生させる。 コンストラクティブランタイム介入のための比較専用フレームワークであるCOTA(Comparent-Only Tiny Advisor)を紹介する。 COTAでは、サンプル化された代替品がアクターの提案よりも良好な継続につながるかどうかを判断し、繰り返し比較することで介入が保証されるかどうかを判断する。 同修正対実ブランチから構築した相互監督を用いてコンパレータを訓練する。 優先された代替案は非バインディングのアドバイスとして返され、元のアクターは再計画される。 WebShop、ALFWorld、tau^3-Retailの3つのアクターで、COTAは9つの評価設定をすべて改善し、比較したベースラインを上回っている。 これらの結果から, 補助モデルがアクターよりもタスク解決能力が著しく弱い場合でも, 建設的実行介入が有効であることが示唆された。

関連論文リスト

• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
  大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。 これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。 CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-08-31T01:59:51Z)
• CAFE: Self-Improving Search Agents Need Co-Evolving Feedback [64.5257526832476]
  アウトカム管理された検索エージェントは、いつ、どのように証拠を回収するかを学習するが、端末の報酬は中間エラーのローカライズも、それらのエラーが複雑になる前に継続する軌道のリダイレクトもしない。 学習した軌道内での介入として修正的フィードバックを扱うことは、エージェントがいつフィードバックを要求し使用するかを決めなければならないのに対し、批評家は、エージェントが改善するにつれて障害パターンが変化する結果構築されたロールアウトから有用な修正を推測しなければならない。
  論文  参考訳（メタデータ） (2026-08-25T16:39:00Z)
• CRISP: Critical Step Perception for Training Efficient Deep Search Agents [19.74419958232817]
  本稿では,効率的な深層探索エージェントを重要ステップ認識により訓練するフレームワークであるCRISPを提案する。 ツール使用を均一にペナルティ化する以前の効率の方法とは異なり、CRISPは冗長なものから必要な証拠を収集する相互作用を区別する。 実験の結果、CRISPは、平均的な相互作用をそれぞれ15.1%、33.2%減少させながら、競合する最終回答の精度を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T08:15:18Z)
• Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
  エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。 我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。 GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
  論文  参考訳（メタデータ） (2026-04-29T22:09:47Z)
• Asymmetric Actor-Critic for Multi-turn LLM Agents [50.245019205783855]
  信頼性のある対話エージェントのための非対称アクター批判フレームワークを提案する。 強力なプロプライエタリなLLMがアクターとして機能し、小さなオープンソース批評家がランタイムの監視を提供する。 提案手法は,強力な単一エージェントベースラインよりも信頼性とタスク成功を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2026-03-31T22:56:21Z)
• Can LLMs Correct Themselves? A Benchmark of Self-Correction in LLMs [57.10533368622962]
  大規模言語モデル(LLM)の自己補正は、推論性能を高める重要な要素として現れる。 本研究では,自己補正戦略の有効性を評価するためのベンチマークであるCorrectBenchを紹介する。 その結果,1) 自己補正手法は, 複雑な推論タスクにおいて, 精度を向上させることが可能であり, 2) 異なる自己補正戦略の混合により, 効率は低下するものの, さらなる改善がもたらされることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-17T02:40:19Z)
• Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training [18.896813839389893]
  本稿では,言語エージェントをオンザフライでリフレクション可能な反復型自己学習フレームワーク,Agent-Rを提案する。 Agent-Rは、正しさに基づいてアクションを報酬または罰揚する従来の方法とは異なり、MCTSを活用して、誤ったトラジェクトリから正しいトラジェクトリを復元するトレーニングデータを構築する。 以上の結果から,Agent-Rは連続的にエラーから回復し,タイムリーなエラー訂正を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2025-01-20T11:46:04Z)
• AgentRefine: Enhancing Agent Generalization through Refinement Tuning [28.24897427451803]
  LLM(Large Language Model)ベースのエージェントは、人間のような複雑なタスクを実行する能力を示した。 オープンソースLLMとGPTシリーズのような商用モデルの間にはまだ大きなギャップがある。 本稿では,命令チューニングによるLLMのエージェント一般化機能の改善に焦点をあてる。
  論文  参考訳（メタデータ） (2025-01-03T08:55:19Z)
• Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
  ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。 ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。 3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-05T15:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。