論文の概要: Router Prior Bias: Preserving Base Routing Structure in MoE Post-Training
- arxiv url: http://arxiv.org/abs/2609.08115v1
- Date: Tue, 08 Sep 2026 01:49:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.548544
- Title: Router Prior Bias: Preserving Base Routing Structure in MoE Post-Training
- Title（参考訳）: ルータ先行バイアス:MoE後試験におけるベースルーティング構造保存
- Abstract要約: ダウンストリームのパフォーマンスは、継承したルーティングをソフトに保持することに依存する。
我々は、ルータのログを冷凍ベースルータから事前読み出すトレーニング時間バイアスであるRouter Prior Bias (RPB) としてインスタンス化する。
- 参考スコア（独自算出の注目度）: 43.11141782683952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) pretraining relies on an auxiliary load-balancing loss (LBL) to drive per-expert utilization toward uniformity. Post-training inherits a different situation: the base router already encodes non-uniform expert co-activation structure, which a re-imposed uniformity objective flattens away. We show that downstream performance depends instead on holding this inherited routing softly, a principle we term soft router anchoring, and instantiate it as Router Prior Bias (RPB), a training-time bias that pulls the router logits toward a prior read off the frozen base router while leaving the router itself trainable. On math post-training of Moonlight-16B-A3B, RPB attains 45.77 in-domain accuracy against 31.91 under re-applied LBL and 29.44 under unanchored fine-tuning, and retains more out-of-domain capability than either. The ordering against LBL reproduces on a second model family (Qwen3-30B-A3B-Base), and the advantage over LBL is resolvable on an independently sourced corpus. Anchors defined on the router weights, on its logits, or on its output distribution perform comparably with no consistent ordering, which places the effect in the softness of the constraint rather than in the particular prior RPB supplies. Retained community structure in the expert co-activation graph tracks these gains wherever the base router is non-uniform enough for communities to form, yet enforcing the same prior as a hard assignment preserves that structure while performance falls sharply. Community structure is therefore a footprint of soft anchoring rather than its source, and the practical lesson is that inherited routing should be held softly during post-training, since both flattening it toward uniformity and enforcing it absolutely carry a downstream cost. Our code will be released at https://github.com/naver-ai/rpb.
- Abstract（参考訳）: Mixture-of-Experts (MoE) プレトレーニングは、専門家ごとの利用を統一性に導くために補助的負荷分散損失 (LBL) に依存している。
ベースルータは、既に一様でない専門家のコアクティベーション構造を符号化している。
そこで本研究では,このルータをソフトなルータアンカー(RPB)と呼び,ルータを冷凍ベースルータからリードオフする前にルータログをプルするトレーニング時間バイアスとして,ルータ自体をトレーニング可能にした上で,このルータをソフトなルータアンカー(RPB)と呼ぶ。
ムーンライト-16B-A3Bの数学訓練後、RCBは再適用されたLBLで31.91、未適用の微調整で29.44に対して45.77のドメイン精度を達成し、ドメイン外の能力を維持している。
第2のモデルファミリー(Qwen3-30B-A3B-Base)上でLBLに対するオーダーが再現され、独立にソースされたコーパス上でLBLに対するアドバンテージが解決される。
ルータの重み、ロジット、あるいは出力分布で定義されたアンカーは、一貫した順序付けを伴わず、特定の以前のPB供給よりも制約の柔らかさに影響を及ぼす。
専門家のコアクティベーショングラフに保持されているコミュニティ構造は、基礎ルータがコミュニティを形成するのに十分な一様でない場合に、これらのゲインを追跡する。
したがって、コミュニティ構造は、ソースではなくソフトアンカーのフットプリントであり、実際の教訓は、継承されたルーティングは、ポストトレーニング中に柔らかく行うべきであるということだ。
私たちのコードはhttps://github.com/naver-ai/rpb.comでリリースされます。
関連論文リスト
- CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - When Does Routing Become Interpretable? Causal Probes on Block Attention Residuals [0.0]
Block Attention Residuals (Block AttnRes) は、固定された加法残基を以前の深度ソース表現よりも学習されたソフトマックスで置き換える。
このような露出が機械的解釈に十分かどうかを問う。
論文 参考訳（メタデータ） (2026-06-11T10:37:04Z) - STAR: Rethinking MoE Routing as Structure-Aware Subspace Learning [30.125087273625123]
Mixture-of-Experts (MoE)は、専門家の特別なサブセットに入力を選択的にルーティングすることで、モデルのキャパシティを効率的にスケールする。
一般化ヘビアンアルゴリズム(GHA)による支配的な入力構造を追跡する進化的主部分空間で、標準学習可能なルーティングを増強することにより、MoEルーティングをサブスペース学習問題として再考する構造アウェアルーティングであるSTARを提案する。
制御された合成セットアップと大規模言語および視覚タスクに基づいてSTARを評価し、強力なMoEベースラインよりもルーティング品質と下流性能を継続的に向上する。
論文 参考訳（メタデータ） (2026-06-07T20:07:24Z) - A Neutral-Atom Quantum Compiler with Application-Specific Layout and Hub-Assisted Shuttling [0.0]
NISQ回路は、有限の相互作用範囲と、同時にアドレス可能なサイト間の最小の分離によって制約される。
私たちはこれを、トランジットウェイポイントとして機能する少数の動的に配置された空のトラップであるハブトラップで対処します。
実行時間の解析と層ごとの忠実度プロキシを用いて17のベンチマークでコンパイラの評価を行った。
論文 参考訳（メタデータ） (2026-05-28T14:03:05Z) - Self-Routing: Parameter-Free Expert Routing from Hidden States [14.018297453424454]
Mixture-of-Experts (MoE)レイヤは、トークンごとに専門家の小さなサブセットをアクティベートすることで、モデルのキャパシティを向上する。
本稿では,トークン隠蔽状態の指定された部分空間を専門家のロジットとして直接使用するパラメータフリーなルーティング機構であるSelf-Routingを提案する。
論文 参考訳（メタデータ） (2026-04-01T03:05:20Z) - Runtime Burden Allocation for Structured LLM Routing in Agentic Expert Systems: A Full-Factorial Cross-Backend Methodology [16.053669481561354]
エージェントAIシステムにおいて、大規模言語モデル(LLM)がコアコントロールコンポーネントになるにつれて、信頼性の高い構造化ルーティングは、正確性、レイテンシ、実装コストのバランスをとる必要がある。
このバランスはプロンプトやスキーマだけでなく、生成スタック全体で構造的な作業がどのように割り当てられるかによっても形作られています。
この定式化は、48のデプロイメント構成と15,552のリクエストをOpenAI、Gemini、Llamaバックエンドでカバーする包括的なフルファクターベンチマークを通じて評価する。
論文 参考訳（メタデータ） (2026-03-26T18:50:46Z) - ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning [85.39146836671897]
低ランクアダプタ(LoRAs)は、トレーニング可能な低ランク行列をトレーニング済みモデルに注入し、新しいタスクに適応するパラメータ効率の微調整技術である。
既存のMixture-of-LoRAsルータは学習したルーティングウェイトを各LoRAに割り当て、ルータのエンドツーエンドのトレーニングを可能にする。
Reinforcement Routing for Mixture-of-LoRAs (ReMix) と呼ばれる新しいルータを提案する。
論文 参考訳（メタデータ） (2026-03-10T18:51:27Z) - RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。
分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
論文 参考訳（メタデータ） (2025-12-27T11:14:23Z) - Experts-Guided Unbalanced Optimal Transport for ISP Learning from Unpaired and/or Paired Data [48.3649059876439]
我々は、任意のISPアーキテクチャをペアモードとペアモードの両方でトレーニングできる教師なしのトレーニングフレームワークを導入する。
我々のフレームワークは、ターゲットのsRGBデータにおける外れ値に対して堅牢性を提供し、マップに著しくコストがかかる非定型サンプルを割引することができる。
実験の結果、我々のフレームワークは、ペアリングモードで訓練された場合、全てのメトリクスで元のペアリングメソッドのパフォーマンスを上回るが、未ペアリングモードは競合する量的および質的なパフォーマンスを同時に達成し、場合によっては、元のペアリングされたメソッドを上回っていることがわかった。
論文 参考訳（メタデータ） (2025-12-05T11:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。