論文の概要: Turning Multi-Agent Communication into Token-Level Credit with On Policy Self Distillation
- arxiv url: http://arxiv.org/abs/2611.16206v1
- Date: Thu, 12 Nov 2026 02:57:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.304443
- Title: Turning Multi-Agent Communication into Token-Level Credit with On Policy Self Distillation
- Title(参考訳): 政策自己蒸留によるマルチエージェントコミュニケーションのトーケンレベル信用化
- Abstract要約: OPSD4MASは、将来の通信をOn Policy Self Distillationを通じて、きめ細かいトークンレベルのクレジットに変換する。
外部モデルは事実を抽出し、粗粒度フィルタリングのための軌道関係を評価する。
GRPO上の数学的パス@4を最大20.00ポイント改善する。
- 参考スコア(独自算出の注目度): 68.65175108109058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning improves problem solving in large language model multi-agent systems. Existing approaches overlook communication knowledge or compress it into scalar rewards, leaving coarse credit with little guidance on which decisions each agent should reinforce or revise. OPSD4MAS converts future communication into fine-grained token-level credit through On Policy Self Distillation (OPSD). An external model extracts facts and assesses their trajectory relations for coarse-grained filtering, followed by fine-grained leave-one-out filtering of target-token influence against agent-wise outcome advantages. The fact-conditioned policy supplies token-level credit, combined with GRPO through a linearly annealed joint objective. Our method improves mathematical pass@4 over GRPO by up to 20.00 percentage points. Ablations support complete filtering, while frozen-history injection diagnostics support fact utility. Together, these results support combining agent-level outcome guidance with communication-derived token-level credit. Code is available at https://github.com/Camel-Prince/OPSD4MAS.
- Abstract(参考訳): 強化学習は、大規模言語モデルマルチエージェントシステムにおける問題解決を改善する。
既存のアプローチはコミュニケーションの知識を見落とし、スカラーの報酬に圧縮する。
OPSD4MASは、将来の通信をOn Policy Self Distillation (OPSD)を通して、きめ細かいトークンレベルのクレジットに変換する。
外的モデルが事実を抽出し, 粗粒度フィルタリングのための軌道関係を評価し, その後, エージェントワイドな結果の利点に対して, ターゲット・トケンの影響をきめ細やかに除去する。
事実条件付き政策は、GRPOと組み合わせたトークンレベルの信用を線形に熱処理された共同目的を通じて提供する。
GRPO上の数学的パス@4を最大20.00ポイント改善する。
アブレーションは完全なフィルタリングをサポートし、凍結した履歴注入診断はファクトユーティリティをサポートする。
これらの結果は、エージェントレベルの結果ガイダンスとコミュニケーション由来のトークンレベルのクレジットを組み合わせることを支援する。
コードはhttps://github.com/Camel-Prince/OPSD4MASで入手できる。
関連論文リスト
- Using Experience Twice: Dynamic Process Rubrics for Privileged Token-Level Credit Assignment [15.022471468377217]
オンライン自己蒸留(ORSD)は、濃密なトークンレベルの監視にルーブリックを使用する。
ORSDはQwen3-1.7BとQwen3-4Bの両方の最終タスク性能を同じ環境干渉予算で向上させる。
論文 参考訳(メタデータ) (2026-11-04T14:11:53Z) - UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning [23.174164520936326]
適応型ローカルクレジット仲裁によりフィードバックソースを統一するUniOPSD(Unified On-Policy Self-Distillation)を導入する。
Qwen2.5-3B-Instruct と Qwen2.5-7B-Instruct により、UniOPSD は ALFWorld の成功率 82.8% と 833.6% 、WebShop の成功率 75.0% と 82.0% それぞれ 455.3% と 449.8% を達成している。
論文 参考訳(メタデータ) (2026-09-28T10:13:29Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳(メタデータ) (2026-08-06T13:00:59Z) - ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents [12.091072999307622]
ARCOは強化学習のための適応型ルーリックフレームワークである。
強い結果、ルーブリック、プロセス・リワードのベースラインよりも、すべての設定で最高のEMを改善する。
そのルーブリックは、ステップ特異的で、設計上の選択に対して堅牢であり、エージェントの挙動の診断に有用である。
論文 参考訳(メタデータ) (2026-06-19T09:38:02Z) - APPO: Agentic Procedural Policy Optimization [28.730334202611257]
エージェントRLを2つの視点から研究する:textitwhere to branchと、ブランチ後のクレジットの割り当て方法
本稿では、分岐とクレジットの割り当てを粗い相互作用単位から細かな決定点にシフトするAPPOを提案する。
APPOは、強力なエージェントRLベースラインを4ポイント近く改善し、効率的なツールコールを維持し、振る舞いの解釈可能性を維持する。
論文 参考訳(メタデータ) (2026-06-10T17:47:07Z) - TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳(メタデータ) (2026-06-04T07:15:43Z) - Contextual Counterfactual Credit Assignment for Multi-Agent Reinforcement Learning in LLM Collaboration [22.269718913202595]
コンテキスト非現実的クレジット割り当て(textbftextttC3)を導入する。
textbftextttC3は、エピソード全体で報酬を分配する代わりに、個々のメッセージの因果的影響を分離する。
textbftextttC3は、確立されたベースラインよりもターミナルパフォーマンスを改善する。
論文 参考訳(メタデータ) (2026-03-06T20:25:11Z) - Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。
本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。
検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
論文 参考訳(メタデータ) (2026-01-22T09:47:31Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳(メタデータ) (2025-11-07T16:08:34Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。