論文の概要: UOE: Unlearning One Expert Is Enough For Mixture-of-experts LLMS

• arxiv url: http://arxiv.org/abs/2411.18797v1
• Date: Wed, 27 Nov 2024 22:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 20:28:07.650977
• Title: UOE: Unlearning One Expert Is Enough For Mixture-of-experts LLMS
• Title（参考訳）: UOE:一人のエキスパートを学べばLLMSを学べる
• Authors: Haomin Zhuang, Yihua Zhang, Kehan Guo, Jinghan Jia, Gaowen Liu, Sijia Liu, Xiangliang Zhang,
• Abstract要約: 我々は,Mixture-of-Experts (MoE) LLMのための新しいシングルエキスパート・アンラーニングフレームワークUOEを提案する。 専門家の帰属を通じて、未学習は特定の知識の最も活発な専門家に集中する。 UOEは、様々なベンチマークでMoE LLMにおいて、品質を最大5%、実用性を35%向上させる。
• 参考スコア（独自算出の注目度）: 35.237427998489785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language model (LLM) unlearning have shown remarkable success in removing unwanted data-model influences while preserving the model's utility for legitimate knowledge. However, despite these strides, sparse Mixture-of-Experts (MoE) LLMs--a key subset of the LLM family--have received little attention and remain largely unexplored in the context of unlearning. As MoE LLMs are celebrated for their exceptional performance and highly efficient inference processes, we ask: How can unlearning be performed effectively and efficiently on MoE LLMs? And will traditional unlearning methods be applicable to MoE architectures? Our pilot study shows that the dynamic routing nature of MoE LLMs introduces unique challenges, leading to substantial utility drops when existing unlearning methods are applied. Specifically, unlearning disrupts the router's expert selection, causing significant selection shift from the most unlearning target-related experts to irrelevant ones. As a result, more experts than necessary are affected, leading to excessive forgetting and loss of control over which knowledge is erased. To address this, we propose a novel single-expert unlearning framework, referred to as UOE, for MoE LLMs. Through expert attribution, unlearning is concentrated on the most actively engaged expert for the specified knowledge. Concurrently, an anchor loss is applied to the router to stabilize the active state of this targeted expert, ensuring focused and controlled unlearning that preserves model utility. The proposed UOE framework is also compatible with various unlearning algorithms. Extensive experiments demonstrate that UOE enhances both forget quality up to 5% and model utility by 35% on MoE LLMs across various benchmarks, LLM architectures, while only unlearning 0.06% of the model parameters.
• Abstract（参考訳）: 大規模言語モデル(LLM)の非学習の進歩は、モデルの有用性を正当な知識に保ちながら、不要なデータモデルの影響を取り除くことに顕著な成功を収めている。 しかし、これらの進歩にもかかわらず、LLMファミリーの重要なサブセットであるSparse Mixture-of-Experts (MoE) LLMは、ほとんど注目されず、未学習の文脈ではほとんど研究されていない。 MoE LLMは例外的な性能と高効率な推論プロセスで祝われているので、どのように学習を効果的かつ効率的にMoE LLM上で行うことができるのか? そして、従来のアンラーニングメソッドはMoEアーキテクチャに適用できるだろうか? 我々のパイロット研究は、MoE LLMの動的ルーティング特性がユニークな課題をもたらし、既存の未学習手法を適用した場合、実用性は大幅に低下することを示した。 特に、未学習はルータのエキスパート選択を妨害し、最も未学習なターゲット関連の専門家から無関係なものへと大きな選択シフトを引き起こします。 その結果、必要以上の専門家が影響を受け、過度に忘れられ、知識が消去される制御が失われてしまう。 そこで本研究では,MOE LLMのための新しい一貫したアンラーニングフレームワークであるUOEを提案する。 専門家の帰属を通じて、未学習は特定の知識の最も活発な専門家に集中する。 同時に、この目標とするエキスパートのアクティブな状態を安定させるために、ルータにアンカーロスを適用し、モデルユーティリティを保存する集中型および制御型アンラーニングを確保する。 提案するUOEフレームワークは、さまざまなアンラーニングアルゴリズムとも互換性がある。 大規模な実験により、UOEは、モデルパラメータの0.06%しか学習せず、様々なベンチマーク、LLMアーキテクチャを含むMoE LLM上で、品質を最大5%、モデルユーティリティを35%向上させる。

関連論文リスト

• UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets [41.0340052199534]
  大規模言語モデル(LLM)は、大規模なデータセットのトレーニング中に必然的に有害な情報を取得する。 既存のアンラーニング手法は、非ラーニングの有効性に論理的関連知識が与える決定的な影響を克服しつつ、対象データを忘れることに重点を置いている。 本研究では,忘れる対象と高い相関性を持つ知識を除去するUIPE(Unlearning Improvement via Extrapolation)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T18:40:00Z)
• CL-MoE: Enhancing Multimodal Large Language Model with Dual Momentum Mixture-of-Experts for Continual Visual Question Answering [27.812611421754482]
  連続視覚質問応答 (VQA) のためのMLLMs-based dual momentum Mixture-of-Experts (CL-MoE) フレームワークを提案する。 MLLMと連続学習を統合し,LLMの豊富なコモンセンス知識を活用する。 提案手法は,10VQAタスクにおける最先端性能を実現し,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-01T09:25:23Z)
• Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods [1.9799527196428242]
  大規模言語モデルアンラーニングは、LLMが悪意ある目的のために使用するのを防ぐために学んだ有害な情報を除去することを目的としている。 アンラーニングが一般的なモデル能力に顕著な影響を与えていることを示す。 簡単な方法で5ショットのプロンプトやリフレーズを行うことで、未学習ベンチマークの精度が10倍以上に向上する可能性があることを示す。
  論文  参考訳（メタデータ） (2024-11-18T22:31:17Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models [26.07431044262102]
  本稿では,大規模言語モデル(LLM)におけるモデルウェイトと未学習プロセスの相互作用について考察する。 重みの「影響」と「影響」とを相互に関連付けることによって,重みの「影響」を記憶・保持するLLMアンラーニング手法であるWAGLEを設計する。
  論文  参考訳（メタデータ） (2024-10-23T02:22:07Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Practical Unlearning for Large Language Models [23.515444452866404]
  機械学習(MU)は、これらの問題に対処するための有望なソリューションとして登場した。 MUは通常、実用性を維持するために元のトレーニングデータへの完全なアクセスを前提とします。 既存のLLMアンラーニング手法は、望ましくないデータアンラーニングに最も影響を受けるデータへのアクセスを前提としていることが多い。 我々は,これらの課題を克服し,実践的なLLMアンラーニングを実現するためのO3フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-14T14:26:17Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。