論文の概要: Knowledge in the Harness, Reliability in the Weights: Teacher-Free Co-Evolution of an LLM Agent
- arxiv url: http://arxiv.org/abs/2611.15268v1
- Date: Wed, 11 Nov 2026 09:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.097056
- Title: Knowledge in the Harness, Reliability in the Weights: Teacher-Free Co-Evolution of an LLM Agent
- Title(参考訳): 体重のハーネス、信頼性に関する知識--LDMエージェントの教師なし共進化
- Abstract要約: 小さなオープンモデルはプライベートなカスタマサービスデプロイメントに適しているが、フロンティアモデルには2つの方法がある。
このようなモデルが,デプロイメントログと参照結果とのギャップを埋めるかどうかを検討する。
- 参考スコア(独自算出の注目度): 2.719281244521513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small open models suit private customer-service deployments but trail frontier models in two ways: they miss what the written policy requires in a given situation, and they act inconsistently on what they know. We study whether such a model can close both gaps from its own deployment logs and their reference outcomes, without a stronger teacher model. Our starting point is a Gemma 4 12B agent that reads its domain policy from on-demand skills rather than from its system prompt. In each round, the deployed system serves a fresh batch of tasks; the base model diagnoses failed conversations and writes rules into the skills, and a rule survives only if it passes code checks, counterexample self-review, a paired retest, and a noise-calibrated validation gate. Reinforcement learning (GRPO) then trains a LoRA adapter on complete multi-turn, tool-using conversations. On the retail and airline domains of $τ^2$-bench, without training or selecting on official tasks, the agent after two rounds improves on this starting point by 12.5 pass$^1$ points in retail and 19.5 in airline, and by 18.4 and 22.0 pass$^4$ points. It also exceeds the benchmark's reference agent, which runs the same model with the whole policy in its system prompt, by 11.8 and 8.0 pass$^1$ points and by 22.8 and 16.0 pass$^4$ points, closing most of the gap to three frontier models under the same protocol. A $2\times2$ ablation shows that the rules rescue tasks the agent never solved and carry policy knowledge that RL with the rules in context does not internalize, whereas the trained weights make solved tasks reliable.
- Abstract(参考訳): 小さなオープンモデルはプライベートなカスタマサービスデプロイメントに適しているが、フロンティアモデルには2つの方法がある。
このようなモデルが、より強力な教師モデルなしで、その配置ログと参照結果とのギャップを埋めることができるかどうかを調査する。
私たちの出発点は、システムプロンプトからではなく、オンデマンドスキルからドメインポリシーを読み取るGemma 4 12Bエージェントです。
ベースモデルは、失敗した会話を診断し、スキルにルールを書き込む。ルールは、コードチェック、反例の自己レビュー、ペアの再テスト、ノイズキャリブレーションされたバリデーションゲートをパスした場合のみ存続する。
強化学習(GRPO)は、完全なマルチターンツール使用会話でLoRAアダプタをトレーニングする。
τ^2$-ベンチの小売および航空会社のドメインでは、トレーニングや公式のタスクを選ばず、2ラウンド後のエージェントは、このスタート地点で12.5パスの$^1$ポイント、19.5ポイントの航空会社、18.4および22.0パスの$^4$ポイントの改善を行う。
11.8と8.0は$^1$ポイント、22.8と16.0は$^4$ポイント、ギャップの大部分は同じプロトコルの下で3つのフロンティアモデルに閉じる。
$2\times 2$ ablation は、ルールが解決しなかったタスクを救出し、ルールを文脈に含んだRLが内部化しないというポリシー知識を持ち、訓練された重みが解決されたタスクを信頼性のあるものにしていることを示している。
関連論文リスト
- R2A-Sales: A Policy-Atom-Matched Benchmark for Rule-to-Action Gaps in Goal-Directed Sales Agents [0.0]
R2A-セール(R2A-Sales)は、販売エージェントを評価するための政策原子マッチングベンチマークである。
各アイテムは、同一のバージョンのポリシーアトムを共有するマルチターンセールスシナリオと静的プローブをペアリングする。
対話的なアームでは、コード所有の台帳がツールエフェクトと端末状態にコミットする。
論文 参考訳(メタデータ) (2026-10-25T09:45:03Z) - Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning [97.32102143832891]
モデルプールの連立性よりも協調ゲームのシェープリー値を用いてモデルの構成強度を定式化する。
次に,ライブマルチモデルシステム内でポリシーを訓練し,システム全体の成果を報奨する合成強化学習(C-RL)を提案する。
論文 参考訳(メタデータ) (2026-10-12T22:16:45Z) - NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents [0.0]
NOMOSは自然言語ポリシーを決定論的ツールコールゲートに変える。
AgentDojoの出荷されたディフェンスとは異なり、銀行に対する攻撃成功率(ASR)はゼロである。
論文 参考訳(メタデータ) (2026-10-08T00:23:22Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents [0.0]
AIエージェントは、実行している各エピソードで学習機会に遭遇し、ほとんどすべてのエピソードを破棄する。
このフィードバックは, 凍結モデルと外部メモリとのペアリングにおいて, 連続学習に十分な信号であることを示す。
1ビットの判定結果から得られた学習は、単一審理成功を1.6$times$ベースラインに引き上げ、修正から2.6$times$に学習し、84のタスクのうち22をベースラインが解決しなかったタスクに変換する。
論文 参考訳(メタデータ) (2026-07-24T10:01:00Z) - A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism [11.543353599329675]
検証可能な報酬を伴う強化学習は、より強力なエージェントを生み出すことを期待して、監督されたチェックポイントで日常的に実行される。
4Bから8Bのスケールで、小さな言語とビジョン言語モデルWebエージェントにスキルを追加するかどうかを問う。
エージェントがほとんどマスターしたタスクに対して、強力な教師付きベースラインの成功率を確実に改善する構成は存在しない。
論文 参考訳(メタデータ) (2026-07-14T11:17:35Z) - Inverting the Bellman Equation: From $Q$-Values to World Models [57.827849584133425]
我々は、十分に豊富な報酬関数のセットで訓練された価値に基づくエージェントが、ユニークで正確な世界モデルを暗黙的にエンコードしていることを証明した。
ttReacherエージェントの暗黙の世界モデルにのみ訓練されたポリシーは、位置のみのトレーニングにもかかわらず、分布外、速度に基づく目標に準最適であることがわかった。
論文 参考訳(メタデータ) (2026-06-19T07:26:14Z) - AgentRM: Enhancing Agent Generalization with Reward Modeling [78.52623118224385]
報酬モデルを微調整して政策モデルを導くことは、政策モデルを直接微調整するよりも、より堅牢であることがわかった。
本稿では,効率的なテスト時間探索のためのポリシーモデルを導出するために,一般化可能な報酬モデルであるAgentRMを提案する。
論文 参考訳(メタデータ) (2025-02-25T17:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。