論文の概要: Routing Sensitivity Without Controllability: A Diagnostic Study of Fairness in MoE Language Models
- arxiv url: http://arxiv.org/abs/2603.27141v1
- Date: Sat, 28 Mar 2026 05:33:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.807933
- Title: Routing Sensitivity Without Controllability: A Diagnostic Study of Fairness in MoE Language Models
- Title（参考訳）: 制御不能なルーティング感度:MoE言語モデルにおける公平性の診断的研究
- Authors: Junhyeok Lee, Kyu Sung Choi,
- Abstract要約: 本稿では,経路レベルのステレオタイプ介入の限界を調査するための診断フレームワークであるFairness-Aware Equilibrium(FARE)を紹介する。
FAREは、ルーティングレベルの優先順位変更は達成不可能(Mixtral、Qwen1.5、Qwen3)、統計的に非ロバスト(DeepSeekMoE)、あるいはかなりのユーティリティコストを伴うことを明らかにしている。
これらの結果から,ルーティング感度はステレオタイプ制御には不十分であり,より制御可能な将来のMoEシステムの設計を通知する,特定のアーキテクチャ条件を特定する必要があることが示唆された。
- 参考スコア（独自算出の注目度）: 2.4827516038838064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) language models are universally sensitive to demographic content at the routing level, yet exploiting this sensitivity for fairness control is structurally limited. We introduce Fairness-Aware Routing Equilibrium (FARE), a diagnostic framework designed to probe the limits of routing-level stereotype intervention across diverse MoE architectures. FARE reveals that routing-level preference shifts are either unachievable (Mixtral, Qwen1.5, Qwen3), statistically non-robust (DeepSeekMoE), or accompanied by substantial utility cost (OLMoE, -4.4%p CrowS-Pairs at -6.3%p TQA). Critically, even where log-likelihood preference shifts are robust, they do not transfer to decoded generation: expanded evaluations on both non-null models yield null results across all generation metrics. Group-level expert masking reveals why: bias and core knowledge are deeply entangled within expert groups. These findings indicate that routing sensitivity is necessary but insufficient for stereotype control, and identify specific architectural conditions that can inform the design of more controllable future MoE systems.
- Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、ルーティングレベルでの階層的コンテンツに対して普遍的に敏感であるが、公平性制御に対するこの感度は構造的に制限されている。
多様なMoEアーキテクチャにおけるルーティングレベルのステレオタイプ介入の限界を調査するための診断フレームワークであるFairness-Aware Routing Equilibrium(FARE)を紹介する。
FAREは、ルーティングレベルの選好シフトは達成不可能(Mixtral、Qwen1.5、Qwen3)、統計的に非ロバスト(DeepSeekMoE)、あるいはかなりのユーティリティコスト(OLMoE, -4.4%p CrowS-Pairs at -6.3%p TQA)を伴うことを明らかにした。
批判的に言えば、ログライクな好みシフトが堅牢な場合でも、デコードされた生成に転送されない: 両方の非nullモデルに対する拡張評価は、すべての生成メトリクスでnull結果をもたらす。
グループレベルのエキスパートマスキングは、なぜかを明らかにしている。
これらの結果から,ルーティング感度はステレオタイプ制御には不十分であり,より制御可能な将来のMoEシステムの設計を通知する,特定のアーキテクチャ条件を特定する必要があることが示唆された。
関連論文リスト
- Sparse Visual Thought Circuits in Vision-Language Models [2.5754366051855837]
我々はQwen3-VL-8Bにおける疎視的思考回路の局所化とテストを行う因果パイプラインを開発した。
この層でSAEを訓練し、明示的な規則でタスク選択集合を構築し、精度とドリフトを定量化しながら推論時間スケーリングとアブレーションを行う。
論文 参考訳（メタデータ） (2026-03-26T06:24:36Z) - Routing-Aware Explanations for Mixture of Experts Graph Models in Malware Detection [4.437835658886064]
Mixture-of-Experts (MoE)は、学習ルータを通じてグラフの複数のビューを組み合わせることで、柔軟なグラフ推論を提供する。
制御フローグラフ(CFG)を用いたマルウェア検出におけるMoEグラフモデルのルーティング対応説明について検討する。
ポストホックの説明は、専門家毎のエッジレベルの属性で生成され、ルータゲートを使用して集約される。
論文 参考訳（メタデータ） (2026-02-22T03:27:17Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - DK-Root: A Joint Data-and-Knowledge-Driven Framework for Root Cause Analysis of QoE Degradations in Mobile Networks [17.511985643225618]
DK-Rootは,根本原因分析のための共同データ・知識駆動型フレームワークである。
堅牢な根本原因分析のための厳密な専門家ガイダンスとともに、スケーラブルな弱監視を統一する。
実世界のオペレータグレードデータセットの実験では、最先端の精度が示されている。
論文 参考訳（メタデータ） (2025-11-13T09:32:01Z) - You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs [50.54173262572369]
大規模言語モデル (LLM) は、金融、医療、農業などの専門分野にますます導入されている。
本稿では,言語モデルに対するラベルフリーテスト時適応について検討し,追加の監督なしにモデルをオンザフライで適応する推論時フレームワークであるSyTTAについて述べる。
論文 参考訳（メタデータ） (2025-10-11T14:00:39Z) - Bayesian Mixture-of-Experts: Towards Making LLMs Know What They Don't Know [0.0]
Mixture-of-Experts (MoE) は大規模で効率的な大規模言語モデルの構築を可能にした。
標準的な決定論的ルーティングメカニズムは、重大な制限を提示する。
この論文では、構造化されたtextbfBayesian MoEルーティングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-28T12:07:35Z) - MoSEs: Uncertainty-Aware AI-Generated Text Detection via Mixture of Stylistics Experts with Conditional Thresholds [50.94175872742232]
本稿では,スタイリスティックスを意識した定量化の不確実性を実現するためのMixture of Stylistic Experts (MoSEs) フレームワークを提案する。
MoSEには、Stylistics Reference Repository (SRR)、Stylistics-Aware Router (SAR)、Conditional Threshold Estimator (CTE)の3つのコアコンポーネントが含まれている。
判別スコアにより、MoSEは対応する信頼度レベルで予測ラベルを出力する。
論文 参考訳（メタデータ） (2025-09-02T16:51:43Z) - COSMIC: Generalized Refusal Direction Identification in LLM Activations [43.30637889861949]
本稿では,方向選択のための自動フレームワークであるbfCOSMIC(Cosine similarity Metrics for Inversion of Concepts)を紹介する。
モデル出力から完全に独立しているコサイン類似性を使用して、実行可能なステアリング方向とターゲット層を特定する。
敵対的な設定や弱い整列モデルにおける拒絶方向を確実に識別し、偽の拒絶を最小限に抑えつつ、より安全な行動に向けてそのようなモデルを操ることが可能である。
論文 参考訳（メタデータ） (2025-05-30T04:54:18Z) - Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。
NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。
NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
論文 参考訳（メタデータ） (2025-05-27T13:30:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。