論文の概要: SynAct: Synergistic Active Feedback Learning for LLM Agents
- arxiv url: http://arxiv.org/abs/2610.12651v1
- Date: Thu, 08 Oct 2026 19:20:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.257252
- Title: SynAct: Synergistic Active Feedback Learning for LLM Agents
- Title（参考訳）: SynAct: LLMエージェントの相乗的アクティブフィードバック学習
- Abstract要約: SynActは、選択されたアクションと繰り返しロールアウトする最終結果の間の相互情報による決定をランク付けする。
最高値の決定で専門家に問い合わせ、その結果の修正を転送可能なルールに蒸留する。
評価された16のすべての設定におけるホールドアウト精度を平均で+11.7pp向上させる。
- 参考スコア（独自算出の注目度）: 4.701138669484677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents executing multi-step workflows fail in two fundamentally different ways: recoverable slips, which further attempts can repair, and knowledge gaps, which retrying cannot resolve. Expert feedback can address the latter, but expert attention is scarce. The key challenge is therefore not whether to ask for feedback, but where feedback can change the outcome. Existing approaches either avoid expert feedback, allowing agents to reinforce their own errors, or allocate feedback at the task level without identifying consequential decisions. We present SynAct, an active learning framework that treats expert attention as the binding constraint and allocates feedback at the level of individual decisions. SynAct ranks decisions by the mutual information between the selected action and the terminal outcome across repeated rollouts, queries an expert at the highest-value decisions, and distills the resulting corrections into transferable rules that the agent can reuse without expert access at deployment. We theoretically characterize what this signal identifies under finite repeated sampling: with k rollouts and at least m observations per action, outcome-constant decisions have zero mutual information, while outcome-separating decisions have mutual information at least H2(m/k) bits, yielding exact separation for any threshold t in (0,H2(m/k)). This also explains why success-based acquisition can be blind when all rollouts fail: success is constant even when failed runs reach different outcomes. Across four agent benchmarks and four models spanning three families, SynAct improves held-out accuracy in all 16 evaluated settings, by +11.7pp on average. The same signal transfers to inference-time routing, where SynAct outperforms budget-matched cascade, uncertainty, and expert-judge routers in 15 of 16 settings, while a single targeted correction outperforms seven additional unaimed retries.
- Abstract（参考訳）: 複数ステップのワークフローを実行するLLMエージェントは、回復可能なスリップと、リトライが解決できない知識ギャップという、2つの根本的に異なる方法で失敗する。
専門家からのフィードバックは後者に対処できるが、専門家の注意は少ない。
したがって、重要な課題は、フィードバックを求めるかどうかではなく、フィードバックが結果を変えるかどうかである。
既存のアプローチでは、専門家のフィードバックを避けたり、エージェントが自身のエラーを補強したり、関連する決定を特定せずにタスクレベルでフィードバックを割り当てることができる。
我々は、専門家の注意を束縛制約として扱い、個々の決定レベルでフィードバックを割り当てる、アクティブな学習フレームワークであるSynActを提案する。
SynActは、選択されたアクションと繰り返しのロールアウト間の端末結果の相互情報による決定をランク付けし、専門家に最高値の決定を問い合わせ、その結果の修正結果を、デプロイ時に専門家のアクセスなしに再利用できる転送可能なルールに蒸留する。
我々は、この信号が有限繰り返しサンプリングで識別するものを理論的に特徴づける: k 個のロールアウトと少なくとも m 個の観測で、結果整合性決定はゼロの相互情報を持ち、結果分離性決定は少なくとも H2(m/k) ビットの相互情報を持ち、(0,H2(m/k)) のしきい値t に対して正確な分離をもたらす。
これはまた、すべてのロールアウトが失敗すると、成功ベースの買収が盲目になる理由を説明している。
4つのエージェントベンチマークと3つのファミリーにまたがる4つのモデルにまたがって、SynActは平均で+11.7ppという16の評価設定でホールドアウト精度を向上させる。
同じ信号が推論時ルーティングに転送され、SynActは予算に適合したカスケード、不確実性、エキスパートジャッジルータを16設定中15設定で上回る。
関連論文リスト
- CLEAT: Learning Value-Guided Clarification for Interactive Agents [50.63941775694406]
本研究では,対話型意図アライメントの課題を明確化を通じて検討する。
トレーニングが不完全な情報を扱う方法を変えると、同じ明確化が多かれ少なかれ有用になる。
CLEATは、共有インタラクション結果から明確化値コントローラとタスクポリシーを協調訓練するフレームワークである。
論文 参考訳（メタデータ） (2026-10-08T19:22:21Z) - Same Winners, Different Success Rates: Evaluating How LLM Agents Recover from Failures [16.745093090677475]
既存のチェックポイントベースのベンチマークは、独立した実行毎にどのアクションがベストに選択されているかを比較することで、リカバリを測定する。
すべてのアクションが失敗すると、報酬がゼロとなり、独立ランニングは高い確率で同じ結びついた集合を生成する。
等コストベルヌーイ作用に対して、成功確率は各サンプルサイズで同一のベストアクションセット分布が得られることを証明した。
論文 参考訳（メタデータ） (2026-09-28T03:22:21Z) - When Agents Disagree: Bayesian Backward Reasoning as a Label-Free Anchor for Multi-Agent Collective Decision-Making [5.335515762403034]
LLMの審査員、投票規則、選挙規則は、証拠をラベルに一方向にマッピングする前方推論に依存している。
我々は、明示的な可能性からベイズ的後進推論を通じて各インスタンスの逆後進を構築する。
異なる因数分解からの推定は、同じ誤差をあまり共有しない傾向があるので、ジェンセン=シャノンの発散を利用して、クロスパス整合性によってエージェントをランク付けする。
論文 参考訳（メタデータ） (2026-09-10T15:27:58Z) - Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents [7.774009529494805]
LLMエージェントは、各アクションが後続の判断条件の状態を変更し、1つの間違ったステップが相互作用予算を無駄にしたり、最終失敗が観測されるずっと前に不可逆的な副作用を引き起こす可能性がある外部環境において作用する。
LLM批判者が過去の判断と観察結果から証拠を蓄積する自己進化的批判フレームワーク(methodshort)を導入する。
論文 参考訳（メタデータ） (2026-07-14T06:17:09Z) - Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。
本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
論文 参考訳（メタデータ） (2026-06-05T07:08:34Z) - Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving [7.648784748888186]
ロボットシステムの認知コンポーネントとして,大規模言語モデルが提案されている。
本研究は, 生体内LCM剤について, 使用可能な情報を変化させることで, 行動学的に検討した。
ノイズフリーベースラインよりも2.85倍の成功率で40%のフリップ確率でピークとなる中等雑音が性能を向上させることが判明した。
論文 参考訳（メタデータ） (2026-05-19T16:27:00Z) - AI Knows What's Wrong But Cannot Fix It: Helicoid Dynamics in Frontier LLMs Under High-Stakes Decisions [51.56484100374058]
ヘリコイド力学(Helicoid dynamics)は、その2番目のドメインの特定の障害状態に与えられる名前である。
システムは巧みに働き、エラーに陥り、何がうまくいかなかったかを正確に名付け、さらに高度な技術で同じパターンを再現する。
この先進的な事例シリーズは、7つの主要なシステムにまたがる体制を文書化する。
論文 参考訳（メタデータ） (2026-03-12T05:25:49Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。