論文の概要: From Collaboration to Capability: Internalizing Routed LLM Experts into Compact Reasoners
- arxiv url: http://arxiv.org/abs/2609.12578v1
- Date: Fri, 11 Sep 2026 08:31:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.681896
- Title: From Collaboration to Capability: Internalizing Routed LLM Experts into Compact Reasoners
- Title（参考訳）: 協調から能力へ:ルート付きLLMエキスパートを小型共振器に内部化
- Abstract要約: コンパクトコントローラは、誰が相談するかを選択し、要求を定式化し、応答を統合することで、より強力な専門家を調整できる。
本研究は,専門家の判断と専門家の推論とコードの両方から学ぶことで,専門家の排除後の世代を改善できるかどうかを考察する。
- 参考スコア（独自算出の注目度）: 1.6167338069359338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A compact controller can coordinate stronger experts by selecting whom to consult, formulating requests, and integrating their responses. We study whether learning from both the controller's decisions and the experts' reasoning and code improves its generation after expert removal. We introduce \textsc{Rivet} for \emph{collaboration internalization}: expert-augmented reinforcement learning applies a shared outcome signal to controller decisions and returned expert spans, and verified trajectory internalization consolidates complete successful interactions through format-aware supervised training. The deployed controller generates reasoning, code, and interaction structure with local Python execution and no external LLM. Across seven competition-mathematics benchmarks, RIVET-1.7B and RIVET-4B achieve average accuracies of $28.25\%$ and $44.16\%$; Stage~II improves RIVET-4B's accuracy after expert removal by $6.49$ points, and GPQA-Diamond results provide evidence of generalization to scientific reasoning. Ablations show gains from ordinary trajectory supervision and additional format weighting, supporting the effectiveness of training on the content and structure of verified collaborations.
- Abstract（参考訳）: コンパクトコントローラは、誰が相談するかを選択し、要求を定式化し、応答を統合することで、より強力な専門家を調整できる。
本研究は,専門家の判断と専門家の推論とコードの両方から学ぶことで,専門家の排除後の世代を改善できるかどうかを考察する。
エキスパート強化学習は、制御者決定に共有された結果信号を適用し、専門家のスパンを返却し、検証された軌道内化は、フォーマット対応の教師付きトレーニングを通じて完全な対話を成す。
デプロイされたコントローラは、ローカルPythonの実行と推論、コード、インタラクション構造を生成し、外部のLLMは発生しない。
RIVET-1.7B と RIVET-4B の7つの競合数学ベンチマークにおいて、平均的な精度は28.25 %$と44.16 %$、ステージ~II は専門家の除去後の RIVET-4B の精度を6.49 ポイント改善し、GPQA-ダイアモンドの結果は科学的推論への一般化の証拠となる。
アブレーションは、通常の軌道監督と追加のフォーマット重み付けから得られる成果を示し、検証されたコラボレーションの内容と構造に対するトレーニングの有効性を支持する。
関連論文リスト
- ComplexConstraints and Beyond: Expert Rubrics for RLVR [1.173565897471208]
代替パラダイムとして,専門家によるルーリック評価を体系的に分析する。
われわれはまず,高品質なルーブリックを構築するための5つの設計原則を述べる。
これらのルーリックは, 優れた評価機器であるだけでなく, 極めて効果的な訓練信号であることを示す。
論文 参考訳（メタデータ） (2026-06-08T07:11:56Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - TRACER: Turn-level Regret Matching with Inner Reinforcement Credit for Cooperative Multi-LLM Reasoning [25.10564375661515]
大規模言語モデルは、推論を改善するために強化学習またはマルチエージェントにますます依存している。
協調型マルチLLM推論のためのターンレベル強化フレームワークであるTRACERを紹介する。
我々は,GSM8Kトレーニングの分割と,GSM8K,MATH500,GPQA-Diamondにおける局所的なRLスタイルの手法を訓練し,ドメイン内精度,クロスベンチマークの一般化,推論コスト,修正保存行動を測定する。
論文 参考訳（メタデータ） (2026-05-27T16:25:21Z) - KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
本稿では,強化学習による企業検索エージェントの訓練システムを提案する。
KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。
異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
論文 参考訳（メタデータ） (2026-03-05T14:30:25Z) - CoVe: Training Interactive Tool-Use Agents via Constraint-Guided Verification [17.56502992098113]
textbfCoVe(textbfConstraint-textbfVerification)は、対話型ツール使用エージェントのトレーニング用に設計されたトレーニング後のデータ合成フレームワークである。
それらは、複雑な軌跡の生成をガイドし、軌道品質を評価するための決定論的検証器として機能する。
論文 参考訳（メタデータ） (2026-03-02T14:56:35Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。
本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
論文 参考訳（メタデータ） (2026-01-29T16:04:59Z) - Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。
外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
論文 参考訳（メタデータ） (2025-10-20T07:53:51Z) - A Tale of Two Experts: Cooperative Learning for Source-Free Unsupervised Domain Adaptation [59.88864205383671]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、ソースデータにアクセスすることなく、ターゲットドメインにソース学習モデルを適用するという現実的な課題に対処する。
既存のSFUDA手法は、ソースモデルの予測のみを利用するか、大きなマルチモーダルモデルを微調整する。
本稿では、補完的な洞察と対象データの潜在構造を利用するためのエキスパート協調学習(EXCL)を提案する。
論文 参考訳（メタデータ） (2025-09-26T11:39:50Z) - Occult: Optimizing Collaborative Communication across Experts for Accelerated Parallel MoE Training and Inference [77.07591324890537]
通信コストを削減するために,システムレベルのイノベーションとアルゴリズムレベルのイノベーションを提案する。
共同作業の比率を増大させることで,専門家の並列化を促進できることを示す。
私たちの設計では、通信コストを削減した正確な結果を提供するか、コラボレーションプルーニングによるコストを最小限に抑えるかのどちらかが可能です。
論文 参考訳（メタデータ） (2025-05-19T16:50:27Z) - ExpertRAG: Efficient RAG with Mixture of Experts -- Optimizing Context Retrieval for Adaptive LLM Responses [0.0]
ExpertRAGは、Mixture-of-Experts (MoE)アーキテクチャとRetrieval Augmented Generation (RAG)を統合する新しい理論フレームワークである
本稿では,エキスパートルーティングと組み合わせた動的検索ゲーティング機構を提案し,モデルが外部知識ストアを選択的に参照したり,専門的な内部エキスパートに依存したりすることを可能にする。
本稿では,選択検索による計算コストの削減と,スパース専門家の利用によるキャパシティゲインの定量化を行う。
論文 参考訳（メタデータ） (2025-03-23T17:26:23Z) - Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation [27.484259938667776]
大規模言語モデルはコード生成に優れていますが、推論を必要とする複雑なプログラミングタスクに苦労します。
本稿では,実行可能検証を活用することで,プロセスと結果の監視を統一するアウトカム・リフィニング・プロセス・スーパービジョンを紹介する。
5つのモデルと3つのベンチマークによる実験では、26.9%の精度でコード効率が42.2%向上した。
論文 参考訳（メタデータ） (2024-12-19T17:59:42Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。