論文の概要: SpecDrop: Parameter-Free Category-Conditioned Routing for Modular Specialization
- arxiv url: http://arxiv.org/abs/2608.04084v1
- Date: Tue, 04 Aug 2026 18:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.561143
- Title: SpecDrop: Parameter-Free Category-Conditioned Routing for Modular Specialization
- Title（参考訳）: SpecDrop: モジュラースペシャライゼーションのためのパラメータフリーなカテゴリー指定ルーティング
- Abstract要約: 我々は,MoEネットワークのための固定パラメータフリールーティング方式であるSpecDropを開発した。
各画像が1つのスーパークラスラベルを持つ視覚タスクにおいて、SpecDropはCIFAR-100で79.23%、ImageNet-1Kで79.89%に達する。
SpecDropの貢献は、ラベルをトレーニングされたモジュール構造に変換することである。
- 参考スコア（独自算出の注目度）: 0.8798762552225575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-experts (MoE) networks pursue specialization through learned routers, gates, and load-balancing losses, yet at matched total-parameter budgets learned routers can underperform equal-weight No-Routing baselines. Is the bottleneck the routing algorithm, or the alignment between training-signal granularity and the target categories? We probe the question with SpecDrop, a fixed parameter-free routing scheme: each of $K$ branches receives weight $p_a$ for its assigned category and a small leakage $p_i > 0$ otherwise, merged through a category-independent fixed denominator, with no learned routing parameters and no auxiliary losses; the category label is required at inference. On vision tasks where each image has one superclass label (CIFAR-100 on ResNet-110; ImageNet-1K on ViT-S/16), SpecDrop reaches 79.23% on CIFAR-100 and 79.89% on ImageNet-1K, exceeding parameter-matched baselines that do not use the label (+4.75 over dense on CIFAR-100; +6.53 over the No-Routing+SE control on ImageNet-1K). These gains quantify what category supervision buys when deployed through routing -- not an advantage over label-aware deployments of the baselines: given the same label, masking a dense model's outputs is stronger for accuracy alone (85.2 / 83.7). SpecDrop's contribution is converting the label into trained-in modular structure: 58%/100% branch-category alignment, and masking gains of 0.00 (CIFAR) / +1.06 (ImageNet) -- the output-space restriction is largely internalized during training. On fuzzy partitions, where training units span multiple categories (SlimPajama-6B language modeling with a 30M Transformer; SuperNI instruction tuning over Llama-3.2-1B with LoRA), the routing mechanism reduces to the matched No-Routing controls within seed noise, the null our thesis predicts. Granularity alignment, not algorithm choice, localizes when routing helps. Code: https://github.com/Beryex/SpecDrop
- Abstract（参考訳）: Mixture-of-experts (MoE) ネットワークは、学習ルータ、ゲート、ロードバランシング損失を通じて専門性を追求するが、学習された全パラメータ予算において、学習されたルータは同等に軽量なNo-Routingベースラインを達成できる。
ルーティングアルゴリズムのボトルネックは,あるいはトレーニング信号の粒度とターゲットカテゴリの一致か?
固定パラメータフリーなルーティングスキームであるSpecDropでは、各ブランチが割り当てられたカテゴリに対して重量$p_a$を受け取り、それ以外は小さなリーク$p_i > 0$がカテゴリ非依存の固定分母を通してマージされ、学習されたルーティングパラメータが無く、補助的な損失がない。
各画像が1つのスーパークラスラベル(ResNet-110のCIFAR-100、ViT-S/16のImageNet-1K)を持つビジョンタスクでは、SpecDropはCIFAR-100で79.23%、ImageNet-1Kで79.89%に達し、ラベルを使用しないパラメータマッチングベースライン(CIFAR-100では+4.75、ImageNet-1Kでは+6.53)を超えた。
これらの利得は、ルーティングを通じてデプロイされたカテゴリの監督が何を購入するかを定量化する -- ベースラインのラベルを意識したデプロイメントよりも有利ではない — 同じラベルを与えられた場合、密度の高いモデルの出力を隠蔽することは、正確性だけでより強くなります(85.2 / 83.7)。
SpecDropの貢献は、ラベルをトレーニングされたモジュラ構造に変換することである: 58%/100%ブランチカテゴリアライメント、マスキングゲインは0.00 (CIFAR) / +1.06 (ImageNet) -- トレーニング中にアウトプットスペースの制限はほとんど内部化されている。
ファジィパーティションでは、トレーニングユニットが複数のカテゴリにまたがる(30MトランスフォーマーによるSlimPajama-6B言語モデリング、LoRAによるLlama-3.2-1B上のSuperNI命令チューニング)。
アルゴリズムの選択ではなく、粒度のアライメントは、ルーティングが役に立つときにローカライズする。
コード:https://github.com/Beryex/SpecDrop
関連論文リスト
- FEAST: Federated Shared-Space Training for Resource-Heterogeneous Clients [2.1485350418225244]
フェデレーション学習は、様々な計算能力を持つデバイスに役立たなければならない。
代わりに、スーパーネットトレーニングは、異なるサイズで固定された弾性モデルを学習し、各デバイスに適切なモデルをデプロイする。
クライアントの推論予算が異なる場合、高コストの作業専用のパラメータは、より少ないクライアントで到達可能である。
この不均衡に対処する共有スペーストレーニングフレームワークであるFEASTを提案する。
論文 参考訳（メタデータ） (2026-08-10T08:10:59Z) - Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation [0.0]
ここで導入されたベンチマークには、固定された12エージェントカタログに3000のプロンプトが含まれている。
評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、制約付き重み付け設定を組み合わせる。
論文 参考訳（メタデータ） (2026-06-27T13:59:46Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。
数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
論文 参考訳（メタデータ） (2026-06-02T09:33:33Z) - BOHM: Zero-Cost Hierarchical Attribution for Compound AI Systems [0.0]
複合AIシステムは、特殊コンポーネントの階層を通してタスクをルーティングする。
本稿では,すでに維持している経路重みから直接階層的帰属木を抽出するBOHMを紹介する。
BOHMは効率、単調性、対称性、弱抑制を満足するが、シャプリーの付加性は満たさない。
論文 参考訳（メタデータ） (2026-05-19T19:38:14Z) - When Does Sparse MoE Help in Vision? The Role of Backbone Compute Leverage in Sparse Routing [7.208745673318648]
Mixture-of-Experts (MoE)ネットワークは精度の高いトレードオフを約束するが、現実的なビジョン展開は専門家の崩壊によって妨げられる。
ハードキャパシティ制約付き上位k$ルーティングが視覚分類に有効である場合について検討する。
論文 参考訳（メタデータ） (2026-05-15T00:01:11Z) - When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models [27.942734943134983]
Mixture-of-Experts (MoE)言語モデルは、各トークンを専門家の小さなサブセットにルーティングする。
検証された推論軌道において,各標準経路を同一のトークンに対してサンプル化された等価な代替手段と比較し,実効トークンに割り当てる次の確率でスコアする。
標準ルータは信頼性の高いトークンではルートユーティリティと整合性があるが、ハード推論を駆動する脆弱なトークンでは非形式的である。
論文 参考訳（メタデータ） (2026-05-08T05:26:09Z) - Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality [0.0]
学習したセントロイドに対するコサイン類似性ルーティングを用いたスパース・ミックス・オブ・エクササイズ(MoE)アーキテクチャを構築した。
ルーティングトポロジがパープレキシティ(PPL)を決定できないことが分かりました。
トポロジレベルの等質性と共存するエキスパートレベルと因果制御性について、共用論文で検討する。
論文 参考訳（メタデータ） (2026-04-15T21:02:02Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。
条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。
本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
論文 参考訳（メタデータ） (2025-09-29T16:29:17Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z) - Capsules with Inverted Dot-Product Attention Routing [84.89818784286953]
本研究では,親の状況と子どもの投票の一致に基づいて子カプセルを親にルーティングする,カプセルネットワークのための新しいルーティングアルゴリズムを提案する。
提案手法は,CIFAR-10やCIFAR-100などのベンチマークデータセットの性能を向上させる。
私たちの研究は、複雑な現実世界のタスクにカプセルネットワークを適用する可能性を高めていると考えています。
論文 参考訳（メタデータ） (2020-02-12T02:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。