論文の概要: Output Dilution: Redundant but Fragile Representations in MoE Models

• arxiv url: http://arxiv.org/abs/2608.25231v1
• Date: Tue, 25 Aug 2026 23:41:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.494011
• Title: Output Dilution: Redundant but Fragile Representations in MoE Models
• Title（参考訳）: 出力の希釈:MoEモデルにおける冗長だがフレキシブルな表現
• Abstract要約: Mixture-of-Experts (MoE)モデルは、道徳的コンテンツを密度の高いモデルのように堅牢にエンコードしているように見えるが、そのエンコーディングにおいてはるかに脆弱である。 OLMoE-1B-7Bでは、線形プローブは、ほぼすべての専門家層の組み合わせから、平均ピーク層精度を90%以上で復元する。 しかし、これらの表現は、一致した大きさの密度のモデルが容易に許容できるようなアクティベーションノイズのレベルの下で崩壊し、強靭性の4.2倍の違いがある。 MoEブロックは、残留するストリームに寄与する前に、アクティブな専門家によって平均されるため、下流層に到達するフィードフォワード信号は、インよりも2桁近く小さい。
• 参考スコア（独自算出の注目度）: 1.0829694003408499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models appear to encode moral content as robustly as dense models, yet prove far more fragile in their encoding. In OLMoE-1B-7B, linear probes recover moral valence from nearly every expert-layer combination, with mean peak-layer accuracy above 90%. But these representations collapse under levels of activation noise that a dense model of matched size easily tolerates, with a 4.2-fold difference in robustness. We trace this to output dilution. Because the MoE block averages across active experts before contributing to the residual stream, the feedforward signal reaching downstream layers is nearly two orders of magnitude smaller than in a dense MLP. Moral information, our interest, survives aggregation intact but at a scale trivially overwhelmed by perturbation. Routing itself remains stable under noise while the vulnerability originates entirely in the diluted aggregate. Checkpoint trajectories confirm this is architectural, not learned. Experts never specialize and accuracy saturates within the first few thousand steps. In sparse architectures, redundant encoding does not imply robust encoding.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、道徳的コンテンツを密度の高いモデルのように堅牢にエンコードしているように見えるが、そのエンコーディングにおいてはるかに脆弱である。 OLMoE-1B-7Bでは、線形プローブは、ほぼすべての専門家層の組み合わせから、平均ピーク層精度を90%以上で復元する。 しかし、これらの表現は、一致した大きさの密度のモデルが容易に許容できるようなアクティベーションノイズのレベルの下で崩壊し、強靭性の4.2倍の違いがある。 これを出力希釈にトレースする。 MoEブロックは、残留するストリームに寄与する前に、アクティブな専門家によって平均されるため、下流層に届くフィードフォワード信号は、密度の高いMLPよりも約2桁小さい。 道徳的情報は、我々の関心では、アグリゲーションを無傷で残すが、摂動によって自明に圧倒されるスケールで生き残る。 ルーティング自体はノイズの下で安定であり、脆弱性は完全に希釈された集合に由来する。 チェックポイントトラジェクトリは、これがアーキテクチャであり、学習されていないことを確認します。 専門家は、最初の数千ステップで特殊化や精度が飽和することはない。 スパースアーキテクチャでは、冗長エンコーディングはロバストエンコーディングを暗示しない。

関連論文リスト

• Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models [7.457366749109892]
  拡散言語モデル(DLM)は自己回帰(AR)生成に代わる魅力的な代替手段を提供する。 DLMは、双方向のコンテキストと反復的な改善を可能にすることで、自己回帰(AR)生成に代わる魅力的な代替手段を提供する。 我々は,ARベースラインに対するDLMの堅牢性と校正を系統的に評価した。
  論文  参考訳（メタデータ） (2026-07-29T18:46:43Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents [2.896184275229374]
  LLMエージェントは機密データを隠蔽的に符号化する。 その結果出力は出力側検出を回避するが、基礎となる計算は行わない。 両信号を利用した2チャンネルリアルタイムモニタであるMIRAGEを構築した。
  論文  参考訳（メタデータ） (2026-06-09T01:45:19Z)
• Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs [77.42033827176806]
  ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。 本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-11T15:49:08Z)
• Layer Collapse in Diffusion Language Models [54.880703002010144]
  拡散言語モデル (DLM) は自己回帰言語モデル (AR) の代替として登場した。 DLMの層崩壊は, 過度なトレーニングによるものではなく, 過度なトレーニングによるものであることを示す。 私たちの発見は、非常に実践的な意味を持っている。
  論文  参考訳（メタデータ） (2026-05-07T14:39:40Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Mixture-of-Depths Attention [65.80640499676542]
  スケーリングディープは、大規模言語モデル(LLM)のキードライバーである。 我々はMix of-Depths attention (MoDA)を紹介する。 MoDAにより、各アテンションヘッドは、現在の層におけるシーケンスKVペアと、前の層からの深さKVペアに出席することができる。
  論文  参考訳（メタデータ） (2026-03-16T17:59:55Z)
• Latent Sculpting for Zero-Shot Generalization: A Manifold Learning Approach to Out-of-Distribution Anomaly Detection [2.8547732086436306]
  教師付きディープラーニングの基本的限界は「一般化崩壊」である 階層型2段階表現学習フレームワークであるLatent Sculptingを提案する。 我々は「浸潤」のシナリオについて88.89%の検知率を報告した。
  論文  参考訳（メタデータ） (2025-12-19T11:37:02Z)
• Towards Interpretability Without Sacrifice: Faithful Dense Layer Decomposition with Mixture of Decoders [34.99839291352472]
  多層パーセプトロン(MLP)は、大規模言語モデルの不可欠な部分である。 近年の手法では、ニューロンレベルの間隔を通して解釈可能な近似を学習するが、元のマッピングを忠実に再構築することはできなかった。 本稿では,スパース近似の精度トレードオフを克服するため,層レベルの空間性への移行を提唱する。
  論文  参考訳（メタデータ） (2025-05-27T15:55:55Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。