論文の概要: Score the Update, Not the Token: Descent-Aligned Routing for Combinatorial LoRA Experts

• arxiv url: http://arxiv.org/abs/2610.00493v1
• Date: Wed, 30 Sep 2026 18:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.679023
• Title: Score the Update, Not the Token: Descent-Aligned Routing for Combinatorial LoRA Experts
• Title（参考訳）: アップデートのスコアはTokenではなく:Y Combinatorial LoRAのエキスパートのためのDescent-Aligned Routing
• Abstract要約: ルータはアップデートをスコアするべきだ、と私たちは主張する。 低ランクコンパスは、各トークンの降下方向を予測する。 VANEは12のPEFTベースラインとMoE-LoRAベースラインの中で最高の平均に達した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-LoRA-experts methods raise the capacity of low-rank adaptation by routing each token to a few low-rank experts. Nearly all of them tie one input-side factor to one output-side factor per expert, and nearly all of them route by scoring the token: the router picks experts without seeing what any of them would write. We argue that the router should score the update. To first order, adding an expert's update to a layer output lowers the loss by the inner product between that update and the negative loss gradient at the output. This usefulness is quadratic in the token, so a router that is linear in the token sees only the part of it that runs through the token mean, and routers that rank experts by the norm of their own activations never see the output factor. If each expert is split into a reader (down-projection) and a writer (up-projection), the usefulness of every reader--writer pair becomes an inner product in the shared rank-$r$ space, and all $N_AN_B$ pairs can be scored from $N_A+N_B$ vectors. We build VANE on this identity. A low-rank compass predicts the descent direction of each token. VANE scores every pair by the alignment between its update and the compass without forming any update, activates the top-$k$ pairs with additive gates, and gives every pair its exact first-order router gradient. On single-domain commonsense reasoning and a four-domain multi-task mixture with Llama-3.2-3B and Llama-3.1-8B, VANE attains the best average among twelve PEFT and MoE-LoRA baselines, by 0.9--1.1 and 1.3--1.5 points respectively, with less than half the trainable parameters of an 8-expert MoE-LoRA. Its router scores also track the measured usefulness of experts far more closely than token routers do.
• Abstract（参考訳）: Mixture-of-LoRA-expertsメソッドは、トークンを少数の低ランクの専門家にルーティングすることで、ローランク適応の能力を高める。 ほぼすべてのルータは、入力側因子を専門家1人当たり1つの出力側因子に結びつける。 ルータはアップデートをスコアするべきだ、と私たちは主張する。 第一に、専門家の更新を出力に付加すると、その更新と出力における負の損失勾配との間の内部積による損失が減少する。 この有用性はトークンにおいて二次的であるため、トークン内の線形なルータはトークン平均を通る部分のみを検出し、専門家を自身のアクティベーションの基準でランク付けするルータは出力係数を決して見ない。 各専門家がリーダー(ダウンプロジェクション)とライター(アッププロジェクション)に分けられると、各読者-ライターペアの有用性は共有ランク−r$空間内の内積となり、すべてのN_AN_B$ペアは$N_A+N_B$ベクトルから得られる。 私たちはこのアイデンティティに基づいてVANEを構築します。 低ランクコンパスは、各トークンの降下方向を予測する。 VANEは更新とコンパスのアライメントによってすべてのペアをスコア付けし、追加ゲート付きのトップ$k$ペアをアクティベートし、すべてのペアに正確な1階のルータ勾配を与える。 Llama-3.2-3BとLlama-3.1-8Bの4ドメインのマルチタスクの推論では、VANEは、それぞれ0.9--1.1と1.3-1.5の12のPEFTとMoE-LoRAのベースラインの中で、トレーニング可能なパラメータの半分以下で最高の平均値を得る。 ルーターのスコアは、トークンルーターよりも遥かに近く、専門家が測定した有用性も追跡する。

関連論文リスト

• Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA [0.0]
  CARE(Confidence-Adaptive Routing of Experts)を紹介します。 CAREは一致した計算における固定トップkのMoE-LoRAよりも改善され、固定k=4のベースラインと一致し、専門家のアクティベートは少ない。 同じ信頼と不一致の信号は、MSP、エントロピー、マルチパスプロキシに対する分布外検出も改善する。
  論文  参考訳（メタデータ） (2026-07-28T17:59:16Z)
• When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
  Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。 検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。 標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
  論文  参考訳（メタデータ） (2026-05-08T05:26:09Z)
• Ortho-Hydra: Orthogonalized Experts for DiT LoRA [0.0]
  マルチスタイルデータ上での拡散変圧器(DiT)のローラ微調整 BftextOrthoHydra は、OFT-スタイルのCayley-orthogonal共有基底と、事前訓練されたウェイトのトップ-$(Er)$左特異ベクトルから彫刻された経験的エンフィジジョイント出力部分空間を組み合わせた再分類である。 予測デッドロックをDiTパイプライン上で2つのHydraLoRAベースライン,ゼロハウンド共有バス変種とオリジナルを比較して検証する。
  論文  参考訳（メタデータ） (2026-05-05T00:48:58Z)
• Understanding the Mixture-of-Experts with Nadaraya-Watson Kernel [87.60286115014833]
  Mixture-of-Experts (MoE)は最近の最先端の大規模言語モデル(LLM)の基盤となっている。 伝統的に、MoEはエキスパート出力を集約するためにルータスコア関数として$mathrmSoftmax$に依存している。 mathrmSoftmax$の代替として,textbfzero-additional-cost Kernel Router with Normalization (KERN)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T08:04:02Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• R2R: Efficiently Navigating Divergent Reasoning Paths with Small-Large Model Token Routing [30.205704752344086]
  LLM(Large Language Models)とSmall Language Models(SLM)の間には,比較的少数のトークンが真の推論経路を分岐していることが示されている。 R2R)**は,これらのクリティカルな経路分割トークンに対してのみ LLM を選択的に利用するニューラルトークンルーティング手法である。 R2RはR1-7Bの平均精度を1.6倍にし、R1-14Bモデルよりも優れている。
  論文  参考訳（メタデータ） (2025-05-27T16:57:20Z)
• Turn Waste into Worth: Rectifying Top-$k$ Router of MoE [111.12838294273033]
  MoEモデルは、その計算効率のために、大きな言語モデルのトレーニングに人気がある。 一般的に使用される上位$のルーティングメカニズムは、アンバランスなルーティングのために冗長性とメモリコストに悩まされる。 ドロップトークンとパディングに対処するため,GPU内整流とFill-in整流を含む整流化を提案する。 これらの組み合わせは、バニラトップ1ルータの精度を4.7%上回る優れた性能を達成する。
  論文  参考訳（メタデータ） (2024-02-17T06:23:27Z)
• Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient for Convolutional Neural Networks [74.68583356645276]
  ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。 我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
  論文  参考訳（メタデータ） (2023-06-07T00:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。