論文の概要: Representation-Guided Parameter-Efficient LLM Unlearning

• arxiv url: http://arxiv.org/abs/2604.17396v1
• Date: Sun, 19 Apr 2026 11:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.503292
• Title: Representation-Guided Parameter-Efficient LLM Unlearning
• Title（参考訳）: 表現誘導型パラメータ効率のLLMアンラーニング
• Authors: Zeguan Xiao, Lang Mo, Yun Chen, Lei Yang, Jiehui Zhao, Lili Yang, Guanhua Chen,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば機密または有害な情報を記憶し、効果的な機械学習技術を必要とする。 本稿では,表現空間の幾何学的特性を活用し,堅牢かつ高精度な未学習を実現する新しい手法であるRepresentation-Guided Low-rank Unlearning (REGLU)を提案する。
• 参考スコア（独自算出の注目度）: 7.509597637044037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often memorize sensitive or harmful information, necessitating effective machine unlearning techniques. While existing parameter-efficient unlearning methods have shown promise, they still struggle with the forget-retain trade-off. This can be attributed to their reliance on parameter importance metrics to identify parameters that are important exclusively for the forget set, which is fundamentally limited by the superposition phenomenon. Due to the polysemantic nature of LLM parameters, such an importance metric may struggle to disentangle parameters associated with the forget and retain sets. In this work, we propose Representation-Guided Low-rank Unlearning (REGLU), a novel approach that leverages the geometric properties of representation spaces to achieve robust and precise unlearning. First, we develop a representation-guided initialization for LoRA that identifies the optimal subspace for selective forgetting. Second, we introduce a regularization loss that constrains the outputs of the LoRA update to lie in the orthogonal complement of the retain set's representation subspace, thereby minimizing interference with the model's performance on the retain set. We evaluate REGLU on the TOFU and WMDP benchmarks across multiple models. Our results demonstrate that REGLU consistently outperforms state-of-the-art baselines, achieving superior unlearning quality while maintaining higher model utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば機密または有害な情報を記憶し、効果的な機械学習技術を必要とする。 既存のパラメータ効率の低いアンラーニング手法は、将来性を示しているが、彼らは依然として、忘れがちなトレードオフに苦慮している。 これは、パラメータの重要度に依存することによるものであり、絶対的に重ね合わせ現象によって制限される、忘れ集合にのみ重要なパラメータを識別するものである。 LLMパラメータの多面的性質のため、そのような重要な計量は、忘れと保持集合に関連するパラメータをアンタングル化するのに苦労する可能性がある。 本研究では,表現空間の幾何学的特性を活用し,頑健かつ高精度な未学習を実現する新しい手法であるRepresentation-Guided Low-rank Unlearning (REGLU)を提案する。 まず,LoRA の表現誘導初期化を開発し,選択的な左折のための最適部分空間を同定する。 第2に,レザーブセットの表現部分空間の直交補空間に置かれるLoRA更新の出力を制限する正規化損失を導入し,レザーブセットにおけるモデルの性能に対する干渉を最小限にする。 複数のモデルにまたがるTOFUおよびWMDPベンチマークにおけるREGLUの評価を行った。 その結果、REGLUは最先端のベースラインを一貫して上回り、より高いモデルユーティリティを維持しつつ、より優れた未学習品質を実現していることがわかった。

関連論文リスト

• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Sparsity-Aware Unlearning for Large Language Models [20.699929903336113]
  大きな言語モデル(LLM)は、トレーニング中に機密情報を必然的に記憶し、重大なプライバシーリスクを生じさせる。 マシンアンラーニングは、完全なリトレーニングをせずに、そのような情報を選択的に除去する、有望なソリューションとして登場した。 未学習の有効性はスパースモデルで著しく低下する。 本研究では,スパシフィケーション目標から勾配マスキングを通じてアンラーニングを分離する,スパシティ・アウェア・アンラーニング(SAU)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T07:45:30Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning [15.880906462267935]
  VILAは、FILAで見落とされた仮定を明示的に考慮する、新しいアンラーニングフレームワークである。 我々はTOFU、WMDP、MUSEなどのベンチマークで最先端のパフォーマンスを新たに設定した。
  論文  参考訳（メタデータ） (2025-08-29T01:45:09Z)
• LLM Unlearning using Gradient Ratio-Based Influence Estimation and Noise Injection [0.0]
  既存の経験的手法は、ローカライゼーションが不十分なため、不完全な忘れ物や意図しない無関係な知識の劣化をもたらすことが多い。 GRINは、忘れデータの記憶に最も寄与するパラメータを特定するための、勾配比に基づく新しい指標を導入した。 そして、微調整の前にこれらのパラメータに選択的ノイズ注入を行い、モデルユーティリティを維持しながら学習性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-08T17:15:32Z)
• Attribution-guided Pruning for Compression, Circuit Discovery, and Targeted Correction in LLMs [15.23174472320989]
  大規模言語モデル(LLM)は多くの現代のAIアプリケーションの中心である。 eXplainable AI(XAI)の最近の研究は、解釈可能性がモデル圧縮を可能にすることを示唆している。
  論文  参考訳（メタデータ） (2025-06-16T17:38:36Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。