論文の概要: Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors
- arxiv url: http://arxiv.org/abs/2610.20826v1
- Date: Wed, 14 Oct 2026 19:12:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.034527
- Title: Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors
- Title（参考訳）: MoE FFNテンソルの量子化感度の信頼性が保証されないタスク条件付きエキスパートルーティング
- Abstract要約: ik_llamaでQwen-3.6-35B-A3Bのルーティングキャプチャとプロファイリングパイプラインを構築した。
我々は,経路エントロピー/決定性,変動係数(CV),ジャカード/位相不安定性,およびトップ1専門家の強度から合成スコアを導出した。
我々は、ルーティングビヘイビア統計が真の層ごとの量子化コストの未検証プロキシであると主張している。
- 参考スコア（独自算出の注目度）: 4.988842023349942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate whether per-layer, per-task-phase (prompt/reasoning/response) expert-routing statistics in a Mixture-of-Experts (MoE) language model can guide layer-wise mixed-precision quantization of routed-expert FFN tensors (down/gate and up). To attain layerwise routing statistics, we build a routing-capture and profiling pipeline for Qwen-3.6-35B-A3B in ik_llama.cpp, derive a composite sensitivity score from routing entropy/decisiveness, coefficient of variation (CV), Jaccard/phase-fragility, and top-1 expert strength, and use coordinate descent to tune a layer allocation that respects a fixed average bits-per-weight budget. Notably, the profiling pipeline is applicable to standard top-k MoE architectures. Across independent experimental conditions (about 4.0 bpw flat, about 2.7 bpw steep, and about 2.7 bpw random allocation as a control), reallocation fails to outperform the uniform baseline within each quality tier. In the flat regime, reallocation is statistically neutral (z about 0.9). For the steep tier, the random reallocation performs within 1 SE of the routing-guided reallocation at the same tier, indicating a structural loss at this quality rung caused by mandatory downgrades and Kullback-Leibler Divergence (KLD) tail injection. This aggressive-budget condition shows a decisive loss (z greater than 4 SE) replicated across three independent weight vectors. We argue that the deeper issue is that routing-behavior statistics are an unvalidated proxy for true per-layer quantization cost.
- Abstract（参考訳）: そこで本研究では,Mixture-of-Experts (MoE)言語モデルにおける各層毎のプロンプト/リアソン/レスポンス)エキスパートルーティング統計が,経路付きエキスパートFFNテンソル(ダウン/ゲートおよびアップ)の層単位での混合精度量子化を導出できるかどうかを考察する。
そこで我々は,Qwen-3.6-35B-A3Bをik_llama.cppに構築し,ルーティングのエントロピー/決定性,変動係数(CV),ジャカード/位相フラジリティ,トップ1専門家の強度から複合感度スコアを導出し,固定平均ビット/ウェイト予算を尊重するレイヤ割り当てを調整した。
特に、プロファイリングパイプラインは標準的なトップkのMoEアーキテクチャに適用できる。
独立した実験条件(約4.0 bpw 平坦、約2.7 bpw 急勾配、約2.7 bpw ランダム割り当て制御)で、実位置は各品質層で均一なベースラインを上回りません。
平坦な状態では、再配置は統計的に中立である(zは約0.9)。
急勾配層では、ランダムな再配置は同じ階層でルーティング誘導された再配置の1SE以内に実行され、強制的なダウングレードとKLD(Kullback-Leibler Divergence)テールインジェクションによるこの品質ラングにおける構造的損失を示す。
この攻撃的予算条件は、3つの独立した重みベクトルで複製された決定的な損失(zは4SE以上)を示す。
より深い問題は、ルーティングビヘイビア統計が真の層ごとの量子化コストの未検証プロキシであることだ、と我々は主張する。
関連論文リスト
- A Systematic Evaluation of Trajectory Data Curation for LoRA Fine-Tuning of Code Agents [0.0]
専門的エージェント軌道上のオープンウェイトLSMの微調整が、有能なコードエージェントを構築するための顕著なアプローチとして現れている。
本稿では,SWEトラジェクトリデータセット上でのQwen2.5-Coder-7B-InstructのLoRA微調整のためのトラジェクトリデータフィルタリングの系統的研究について述べる。
我々は,2軸品質評価フレームワークである効率とスタイルを提案し,戦略,スケール,アブレーション分析にまたがる16の制御実験を通じて評価する。
論文 参考訳（メタデータ） (2026-07-19T11:52:32Z) - TriRoute: Unified Learned Routing for Joint Adaptive Attention, Experts, and KV-Cache Allocation [0.0]
TriRouteは3つの軸で共有される単一の軽量コントローラである。
不均一な緩和により終端から終端までを運転する。
フルアテンションと高精度キャッシュを文初期位置、まれなサブワード、名前付きエンティティに割り当てる。
論文 参考訳（メタデータ） (2026-07-07T00:12:46Z) - When Does Routing Become Interpretable? Causal Probes on Block Attention Residuals [0.0]
Block Attention Residuals (Block AttnRes) は、固定された加法残基を以前の深度ソース表現よりも学習されたソフトマックスで置き換える。
このような露出が機械的解釈に十分かどうかを問う。
論文 参考訳（メタデータ） (2026-06-11T10:37:04Z) - Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference [0.0]
本稿では,各トークンを最も適切な注意戦略に動的にルーティングするフレームワークであるMeta-Attentionを提案する。
決定論的または事前自由な学習ルーティングを使用する以前のルーティングアプローチとは異なり、Meta-Controllerは、トークン毎のメカニズム選択を後部推論として扱う。
この設計は、ソフトからハードへのルーティング遷移を制御し、アドホックな負荷分散損失を伴わずにルーティング崩壊を緩和し、より良い計算性能のトレードオフをもたらす、原則化されたルーティング不確実性推定を生成する。
論文 参考訳（メタデータ） (2026-05-27T12:21:28Z) - Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers [0.0]
与えられたプロンプトに対して、各レイヤにまたがる専門家アクティベーションパターンを要約したベクトル表現であるルーティングシグネチャを導入する。
同一タスクカテゴリからのプロンプトは、非常に類似したルーティングシグネチャを誘導する一方、異なるカテゴリからのプロンプトは、かなり類似度が低いことを示す。
ルーティングシグネチャのみに訓練されたロジスティック回帰は、4方向タスク分類において92.5%+/-6.1%のクロスバリデーション精度を達成する。
論文 参考訳（メタデータ） (2026-03-11T12:45:53Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳（メタデータ） (2026-03-02T10:38:54Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。
大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。
本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
論文 参考訳（メタデータ） (2025-10-08T10:09:47Z) - Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。
この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。
我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
論文 参考訳（メタデータ） (2022-02-02T11:58:56Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳（メタデータ） (2021-12-30T00:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。