論文の概要: GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints

• arxiv url: http://arxiv.org/abs/2601.16905v1
• Date: Fri, 23 Jan 2026 17:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.776344
• Title: GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints
• Title（参考訳）: GRIP:幾何学的ルータ制約による混合実験のためのアルゴリズム非依存機械学習
• Authors: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li,
• Abstract要約: そこで我々は,Mixture-of-Experts(MoE)モデルの非学習のためのアルゴリズムに依存しないフレームワークを提案する。 我々のコアコントリビューションは幾何学的制約であり、ルータ勾配の更新を専門家固有のnull空間に投影することで実現しています。 これにより、未学習の最適化は、表面的なルータ操作ショートカットを利用するのではなく、専門家パラメータから直接知識を消去する。
• 参考スコア（独自算出の注目度）: 8.074300009866548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning (MU) for large language models has become critical for AI safety, yet existing methods fail to generalize to Mixture-of-Experts (MoE) architectures. We identify that traditional unlearning methods exploit MoE's architectural vulnerability: they manipulate routers to redirect queries away from knowledgeable experts rather than erasing knowledge, causing a loss of model utility and superficial forgetting. We propose Geometric Routing Invariance Preservation (GRIP), an algorithm-agnostic framework for unlearning for MoE. Our core contribution is a geometric constraint, implemented by projecting router gradient updates into an expert-specific null-space. Crucially, this decouples routing stability from parameter rigidity: while discrete expert selections remain stable for retained knowledge, the continuous router parameters remain plastic within the null space, allowing the model to undergo necessary internal reconfiguration to satisfy unlearning objectives. This forces the unlearning optimization to erase knowledge directly from expert parameters rather than exploiting the superficial router manipulation shortcut. GRIP functions as an adapter, constraining router parameter updates without modifying the underlying unlearning algorithm. Extensive experiments on large-scale MoE models demonstrate that our adapter eliminates expert selection shift (achieving over 95% routing stability) across all tested unlearning methods while preserving their utility. By preventing existing algorithms from exploiting MoE model's router vulnerability, GRIP adapts existing unlearning research from dense architectures to MoEs.
• Abstract（参考訳）: 大規模言語モデルの機械学習(MU)はAIの安全性にとって重要になっているが、既存の手法ではMixture-of-Experts(MoE)アーキテクチャへの一般化に失敗している。 従来のアンラーニング手法がMoEのアーキテクチャ上の脆弱性を悪用していることを確認する。彼らはルータを操作して、知識を消し去るのではなく、知識のある専門家からクエリをリダイレクトし、モデルユーティリティの喪失と表面的な忘れを生じさせる。 そこで我々は,MoE のアンラーニングのためのアルゴリズムに依存しないフレームワークである Geometric Routing Invariance Preservation (GRIP) を提案する。 我々のコアコントリビューションは幾何学的制約であり、ルータ勾配の更新を専門家固有のnull空間に投影することで実現しています。 離散的な専門家選択は保持された知識に対して安定であるが、連続ルータパラメータはヌル空間内で可塑性のままであり、学習されていない目的を満たすために必要な内部再構成を行うことができる。 これにより、未学習の最適化は、表面的なルータ操作ショートカットを利用するのではなく、専門家パラメータから直接知識を消去する。 GRIPはアダプタとして機能し、基礎となるアンラーニングアルゴリズムを変更することなくルータパラメータの更新を制限する。 大規模MoEモデルに対する大規模な実験により、我々のアダプタは、テスト対象の未学習メソッドのすべてに対して、専門家の選択シフト(95%以上のルーティング安定性を達成する)を排除し、実用性を保っていることが示された。 既存のアルゴリズムがMoEモデルのルータの脆弱性を悪用することを防ぐことで、GRIPは、密集したアーキテクチャから学習されていない既存の研究をMoEに適用する。

関連論文リスト

• ProxRouter: Proximity-Weighted LLM Query Routing for Improved Robustness to Outliers [14.831117443453165]
  大規模言語モデル(LLM)クエリルータは、現代のAIプラットフォームにとって極めて重要である。 非パラメトリックルータにおけるバイアスと分散のバランスをとるために指数関数的に傾いたアグリゲーション機構を応用したProxを提案する。
  論文  参考訳（メタデータ） (2025-10-10T20:28:14Z)
• Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts [11.437368205968573]
  本稿では,非線形ルータと専門家によるソフトローイング型MoEモデルの連成訓練のための収束保証を提供することにより,MoE理論を推し進める。 訓練後プルーニングは、効果的に冗長ニューロンを除去し、続いて、大域的最適性に到達した、確実に収束した微調整プロセスを示す。
  論文  参考訳（メタデータ） (2025-10-08T16:40:31Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)
• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• Soft Merging of Experts with Adaptive Routing [38.962451264172856]
  適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。 我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-06T15:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。