論文の概要: UOE: Unlearning One Expert Is Enough For Mixture-of-experts LLMS

• arxiv url: http://arxiv.org/abs/2411.18797v1
• Date: Wed, 27 Nov 2024 22:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:23:15.162094
• Title: UOE: Unlearning One Expert Is Enough For Mixture-of-experts LLMS
• Title（参考訳）: UOE:一人のエキスパートを学べばLLMSを学べる
• Authors: Haomin Zhuang, Yihua Zhang, Kehan Guo, Jinghan Jia, Gaowen Liu, Sijia Liu, Xiangliang Zhang,
• Abstract要約: 我々は,Mixture-of-Experts (MoE) LLMのための新しいシングルエキスパート・アンラーニングフレームワークUOEを提案する。 専門家の帰属を通じて、未学習は特定の知識の最も活発な専門家に集中する。 UOEは、様々なベンチマークでMoE LLMにおいて、品質を最大5%、実用性を35%向上させる。
• 参考スコア（独自算出の注目度）: 35.237427998489785
• License:
• Abstract: Recent advancements in large language model (LLM) unlearning have shown remarkable success in removing unwanted data-model influences while preserving the model's utility for legitimate knowledge. However, despite these strides, sparse Mixture-of-Experts (MoE) LLMs--a key subset of the LLM family--have received little attention and remain largely unexplored in the context of unlearning. As MoE LLMs are celebrated for their exceptional performance and highly efficient inference processes, we ask: How can unlearning be performed effectively and efficiently on MoE LLMs? And will traditional unlearning methods be applicable to MoE architectures? Our pilot study shows that the dynamic routing nature of MoE LLMs introduces unique challenges, leading to substantial utility drops when existing unlearning methods are applied. Specifically, unlearning disrupts the router's expert selection, causing significant selection shift from the most unlearning target-related experts to irrelevant ones. As a result, more experts than necessary are affected, leading to excessive forgetting and loss of control over which knowledge is erased. To address this, we propose a novel single-expert unlearning framework, referred to as UOE, for MoE LLMs. Through expert attribution, unlearning is concentrated on the most actively engaged expert for the specified knowledge. Concurrently, an anchor loss is applied to the router to stabilize the active state of this targeted expert, ensuring focused and controlled unlearning that preserves model utility. The proposed UOE framework is also compatible with various unlearning algorithms. Extensive experiments demonstrate that UOE enhances both forget quality up to 5% and model utility by 35% on MoE LLMs across various benchmarks, LLM architectures, while only unlearning 0.06% of the model parameters.
• Abstract（参考訳）: 大規模言語モデル(LLM)の非学習の進歩は、モデルの有用性を正当な知識に保ちながら、不要なデータモデルの影響を取り除くことに顕著な成功を収めている。 しかし、これらの進歩にもかかわらず、LLMファミリーの重要なサブセットであるSparse Mixture-of-Experts (MoE) LLMは、ほとんど注目されず、未学習の文脈ではほとんど研究されていない。 MoE LLMは例外的な性能と高効率な推論プロセスで祝われているので、どのように学習を効果的かつ効率的にMoE LLM上で行うことができるのか? そして、従来のアンラーニングメソッドはMoEアーキテクチャに適用できるだろうか? 我々のパイロット研究は、MoE LLMの動的ルーティング特性がユニークな課題をもたらし、既存の未学習手法を適用した場合、実用性は大幅に低下することを示した。 特に、未学習はルータのエキスパート選択を妨害し、最も未学習なターゲット関連の専門家から無関係なものへと大きな選択シフトを引き起こします。 その結果、必要以上の専門家が影響を受け、過度に忘れられ、知識が消去される制御が失われてしまう。 そこで本研究では,MOE LLMのための新しい一貫したアンラーニングフレームワークであるUOEを提案する。 専門家の帰属を通じて、未学習は特定の知識の最も活発な専門家に集中する。 同時に、この目標とするエキスパートのアクティブな状態を安定させるために、ルータにアンカーロスを適用し、モデルユーティリティを保存する集中型および制御型アンラーニングを確保する。 提案するUOEフレームワークは、さまざまなアンラーニングアルゴリズムとも互換性がある。 大規模な実験により、UOEは、モデルパラメータの0.06%しか学習せず、様々なベンチマーク、LLMアーキテクチャを含むMoE LLM上で、品質を最大5%、モデルユーティリティを35%向上させる。

関連論文リスト

• Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods [1.9799527196428242]
  大規模言語モデルアンラーニングは、LLMが悪意ある目的のために使用するのを防ぐために学んだ有害な情報を除去することを目的としている。 LMUとRMUは、LLMアンラーニングの2つの方法として提案され、アンラーニングベンチマークで印象的な結果を得た。
  論文  参考訳（メタデータ） (2024-11-18T22:31:17Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models [26.07431044262102]
  本稿では,大規模言語モデル(LLM)におけるモデルウェイトと未学習プロセスの相互作用について考察する。 重みの「影響」と「影響」とを相互に関連付けることによって,重みの「影響」を記憶・保持するLLMアンラーニング手法であるWAGLEを設計する。
  論文  参考訳（メタデータ） (2024-10-23T02:22:07Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Practical Unlearning for Large Language Models [23.515444452866404]
  機械学習(MU)は、これらの問題に対処するための有望なソリューションとして登場した。 MUは通常、実用性を維持するために元のトレーニングデータへの完全なアクセスを前提とします。 既存のLLMアンラーニング手法は、望ましくないデータアンラーニングに最も影響を受けるデータへのアクセスを前提としていることが多い。 我々は,これらの課題を克服し,実践的なLLMアンラーニングを実現するためのO3フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-14T14:26:17Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。