論文の概要: Expert Selections In MoE Models Reveal (Almost) As Much As Text

• arxiv url: http://arxiv.org/abs/2602.04105v1
• Date: Wed, 04 Feb 2026 00:42:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.323242
• Title: Expert Selections In MoE Models Reveal (Almost) As Much As Text
• Title（参考訳）: MoEモデルのエキスパート選びはテキストと同じくらい(ほぼ)判明
• Authors: Amir Nuriyev, Gabriel Kulp,
• Abstract要約: 本稿では,Mixix-of-Experts (MoE)言語モデルに対するテキスト再構成攻撃を提案する。 MoEモデルでは、各トークンは専門家の選択から専門家トークンのサブセットにルーティングされる。 これらのルーティング決定は、これまで理解されていたよりもはるかに多くの情報をリークすることを示す。
• 参考スコア（独自算出の注目度）: 0.5013248430919224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a text-reconstruction attack on mixture-of-experts (MoE) language models that recovers tokens from expert selections alone. In MoE models, each token is routed to a subset of expert subnetworks; we show these routing decisions leak substantially more information than previously understood. Prior work using logistic regression achieves limited reconstruction; we show that a 3-layer MLP improves this to 63.1% top-1 accuracy, and that a transformer-based sequence decoder recovers 91.2% of tokens top-1 (94.8% top-10) on 32-token sequences from OpenWebText after training on 100M tokens. These results connect MoE routing to the broader literature on embedding inversion. We outline practical leakage scenarios (e.g., distributed inference and side channels) and show that adding noise reduces but does not eliminate reconstruction. Our findings suggest that expert selections in MoE deployments should be treated as sensitive as the underlying text.
• Abstract（参考訳）: 本稿では,エキスパート選択のみからトークンを回収するMix-of-Experts(MoE)言語モデルに対するテキスト再構成攻撃を提案する。 MoEモデルでは、各トークンはエキスパートサブネットワークのサブセットにルーティングされる。 従来のロジスティック回帰を用いた処理では,3層MLPで63.1%の精度向上を実現し,100Mトークンのトレーニング後にOpenWebTextから32tokenシーケンス上のトークントップ1(94.8%)の91.2%をトランスフォーマーベースのシーケンスデコーダが回復することを示した。 これらの結果は、埋め込みインバージョンに関するより広範な文献にMoEルーティングを関連付ける。 実用的なリークシナリオ(例えば、分散推論とサイドチャネル)を概説し、ノイズの追加は減少するが、再構成を排除しないことを示す。 以上の結果から,MoEデプロイメントにおける専門家の選択は,基礎となるテキストと同じくらいセンシティブに扱われるべきであることが示唆された。

関連論文リスト

• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)
• Temporal Self-Rewarding Language Models: Decoupling Chosen-Rejected via Past-Future [38.1810626252963]
  自己回帰言語モデル(Self-Rewarding Language Models)は、LLM-as-a-Judgeプロンプトを通じて、大きな言語モデル(LLM)が応答を生成し、独自の出力を評価するアーキテクチャを提案する。 本研究では,過去,現在,将来のモデル世代を戦略的に調整し,学習信号を持続するテキストbf自己回帰言語モデルを提案する。
  論文  参考訳（メタデータ） (2025-08-08T05:25:54Z)
• CyclicReflex: Improving Large Reasoning Models via Cyclical Reflection Token Scheduling [16.151066326284376]
  大規模推論モデル(LRM)は、複雑な問題解決のための多段階推論を実行するためにテスト時間スケーリングを利用する。 我々は、リフレクショントークンを「リソース」として扱い、リソース割り当ての問題を導入する。 本稿では,リフレクショントークンのロジットを動的に変調するデコード戦略である循環反射トークンスケジューリング(CyclicReflex)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T03:43:38Z)
• SafaRi:Adaptive Sequence Transformer for Weakly Supervised Referring Expression Segmentation [11.243400478302771]
  Referring Expression Consistency (RES) は、テキストによって参照される画像において、対象オブジェクトのセグメンテーションマスクを提供することを目的としている。 アルゴリズムの革新を取り入れたRESのための弱教師付きブートストラップアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:02:25Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• Repetition Improves Language Model Embeddings [86.71985212601258]
  「echo Embeddings」は、自動回帰言語モデルをアーキテクチャの変更や微調整を必要とせず、強力なテキスト埋め込みモデルに変換する。 我々のゼロショット埋め込みは、マスク付き言語モデリングトレーニングを施した双方向変換LMで得られたものとほぼ一致します。
  論文  参考訳（メタデータ） (2024-02-23T17:25:10Z)
• Improving language models by retrieving from trillions of tokens [50.42630445476544]
  大規模コーパスから取得した文書チャンクを条件付けすることで,自動回帰言語モデルを強化する。 2兆ドルのトークンデータベースで、Retrieval-Enhanced Transformer (RETRO)は、PileのGPT-3とJurassic-1に匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-08T17:32:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。