論文の概要: LUNAR: LLM Unlearning via Neural Activation Redirection

• arxiv url: http://arxiv.org/abs/2502.07218v1
• Date: Tue, 11 Feb 2025 03:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:19.896132
• Title: LUNAR: LLM Unlearning via Neural Activation Redirection
• Title（参考訳）: LUNAR: ニューラル・アクティベーション・リダイレクトによるLLMの学習
• Authors: William F. Shen, Xinchi Qiu, Meghdad Kurmanji, Alex Iacob, Lorenzo Sani, Yihong Chen, Nicola Cancedda, Nicholas D. Lane,
• Abstract要約: 大規模言語モデル(LLM)は、はるかに大量のテキストデータのトレーニングの恩恵を受けるが、個人情報を漏洩するリスクはますます高まっている。 線形表現仮説に基づく新しいアンラーニング手法であるLUNARを提案する。 我々は,LUNARが,推論中の未学習モデルの制御性を著しく向上しつつ,最先端の未学習性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 20.60687563657169
• License:
• Abstract: Large Language Models (LLMs) benefit from training on ever larger amounts of textual data, but as a result, they increasingly incur the risk of leaking private information. The ability to selectively remove knowledge from LLMs is, therefore, a highly desirable capability. In this paper, we propose LUNAR, a novel unlearning methodology grounded in the Linear Representation Hypothesis. LUNAR operates by redirecting the representations of unlearned data to regions that trigger the model's inherent ability to express its inability to answer. LUNAR achieves state-of-the-art unlearning performance while significantly enhancing the controllability of the unlearned model during inference. Specifically, LUNAR achieves between 2.9x to 11.7x improvements on combined "unlearning efficacy" and "model utility" score ("Deviation Score") on the PISTOL dataset across various base models. We also demonstrate, through quantitative analysis and qualitative examples, LUNAR's superior controllability in generating coherent and contextually aware responses, mitigating undesired side effects of existing methods. Moreover, we demonstrate that LUNAR is robust against white-box adversarial attacks and versatile in handling real-world scenarios, such as processing sequential unlearning requests.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、はるかに大量のテキストデータのトレーニングの恩恵を受けるが、結果として、個人情報を漏洩するリスクがますます高まっていく。 LLMから知識を選択的に除去する能力は、非常に望ましい能力である。 本稿では,線形表現仮説に基づく新しいアンラーニング手法であるLUNARを提案する。 LUNARは、未学習データの表現をモデル固有の応答能力を示す領域にリダイレクトすることで機能する。 LUNARは、推論中の未学習モデルの制御性を著しく向上しつつ、最先端の未学習性能を達成する。 具体的には、LUNARは、様々なベースモデルにわたるPISTOLデータセット上で、"未学習の有効性"と"モデルユーティリティ"スコア("Deviation Score")を組み合わせた2.9倍から1.7倍の改善を実現している。 また、定量分析および定性的な例を通して、LUNARが協調的かつ文脈的に認識された応答を生成し、既存の手法の望ましくない副作用を緩和する優れた制御性を示す。 さらに、LUNARは、ホワイトボックスの敵攻撃に対して堅牢であり、シーケンシャルな未学習要求の処理などの現実シナリオの処理に汎用性があることを実証する。

関連論文リスト

• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL [7.988692259455583]
  Reinforcement Learning from Human Feedbackで訓練された大規模言語モデル(LLM)は、目覚ましい能力を示しているが、その基盤となる報酬関数や意思決定プロセスは不透明である。 本稿では, 逆強化学習(IRL)を用いて暗黙の報酬関数を復元することにより, LLMを解釈する新しい手法を提案する。 我々は,ヒトの嗜好を予測する上で,最大80.40%の精度を達成できる報酬モデルを抽出し,様々な大きさの毒性アライメントLDMについて実験を行った。
  論文  参考訳（メタデータ） (2024-10-16T12:14:25Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Large Language Models are Biased Reinforcement Learners [0.0]
  大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。 計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-19T01:43:52Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Balancing Exploration and Exploitation in LLM using Soft RLLF for Enhanced Negation Understanding [4.799288023353623]
  NLPにおける微調整のアプローチは、しばしば探索よりも搾取に焦点を当てる。 論理フィードバックからの強化学習を活用して、言語モデルにおける探索と搾取の効果的なバランスを作る。 これは、より正確で信頼性があり、論理的に一貫した言語モデルの開発に意味を持つ。
  論文  参考訳（メタデータ） (2024-03-02T11:54:55Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。