論文の概要: Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning

• arxiv url: http://arxiv.org/abs/2503.11127v1
• Date: Fri, 14 Mar 2025 06:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:49.300773
• Title: Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning
• Title（参考訳）: 忘れるな! 未学習のための条件付きスパースオートエンコーダクランプ
• Authors: Matthew Khoriaty, Andrii Shportko, Gustavo Mercier, Zach Wood-Doughty,
• Abstract要約: 大きな言語モデル(LLM)の能力は大きな可能性をもたらしていますが、新たなリスクも生じています。 例えば、生物兵器、先進化学、サイバー攻撃の知識を持つLSMは、間違った手や故障時に暴力を引き起こす可能性がある。 近黒の箱としての性質から、LLM内部の直観的な解釈は依然としてオープンな研究課題である。
• 参考スコア（独自算出の注目度）: 0.306238659426286
• License:
• Abstract: Recent developments in Large Language Model (LLM) capabilities have brought great potential but also posed new risks. For example, LLMs with knowledge of bioweapons, advanced chemistry, or cyberattacks could cause violence if placed in the wrong hands or during malfunctions. Because of their nature as near-black boxes, intuitive interpretation of LLM internals remains an open research question, preventing developers from easily controlling model behavior and capabilities. The use of Sparse Autoencoders (SAEs) has recently emerged as a potential method of unraveling representations of concepts in LLMs internals, and has allowed developers to steer model outputs by directly modifying the hidden activations. In this paper, we use SAEs to identify unwanted concepts from the Weapons of Mass Destruction Proxy (WMDP) dataset within gemma-2-2b internals and use feature steering to reduce the model's ability to answer harmful questions while retaining its performance on harmless queries. Our results bring back optimism to the viability of SAE-based explicit knowledge unlearning techniques.
• Abstract（参考訳）: 近年のLLM(Large Language Model)機能開発は大きな可能性を秘めているが、新たなリスクも生じている。 例えば、生物兵器、先進化学、サイバー攻撃の知識を持つLSMは、間違った手や故障時に暴力を引き起こす可能性がある。 近黒ボックスとしての性質から、LLM内部の直感的な解釈は依然としてオープンな研究課題であり、開発者が容易にモデル動作や能力を制御するのを妨げている。 スパースオートエンコーダ(SAE)の使用は、最近LLMの内部で概念の表現を解き放つ潜在的な方法として現れ、開発者は隠れたアクティベーションを直接修正することでモデル出力を操れるようになった。 本稿では,無害なクエリの性能を維持しつつ,有害な質問に答える能力を低減するために,GAEを用いてgemma-2-2b内部のWMDPデータセットから不要な概念を識別する。 この結果から,SAEをベースとした明示的な知識学習技術の実現可能性への楽観性が示唆された。

関連論文リスト

• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Deception in LLMs: Self-Preservation and Autonomous Goals in Large Language Models [0.0]
  大規模言語モデルの最近の進歩には、計画と推論能力が組み込まれている。 これにより、数学的および論理的タスクにおける誤りを低減し、精度を向上した。 本研究では,OpenAIのo1に似た推論トークンを出力するモデルであるDeepSeek R1について検討した。
  論文  参考訳（メタデータ） (2025-01-27T21:26:37Z)
• When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge? [15.318301783084681]
  大規模言語モデル(LLM)は、トレーニング中に機密情報や有害なコンテンツを不注意に学習し、保持することができる。 本稿では,RAG(Retrieval-Augmented Generation)技術に基づく軽量なアンラーニングフレームワークを提案する。 われわれはChatGPT, Gemini, Llama-2-7b-chat-hf, PaLM 2 など,オープンソースおよびクローズドソースモデルの広範な実験を通じてフレームワークを評価する。
  論文  参考訳（メタデータ） (2024-10-20T03:51:01Z)
• Answer When Needed, Forget When Not: Language Models Pretend to Forget via In-Context Knowledge Unlearning [26.861562920084264]
  大規模言語モデル(LLM)は様々な領域にまたがって適用される。 文脈内知識アンラーニング」という新しい手法を提案する。 本手法は,事前学習したLLMを微調整し,文脈内における目標知識の学習を迅速に行えるようにする。
  論文  参考訳（メタデータ） (2024-10-01T04:13:25Z)
• MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
  大規模言語モデル(LLM)は目覚ましい能力を示している。 その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。 本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
  論文  参考訳（メタデータ） (2024-08-20T10:44:29Z)
• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Machine Unlearning in Large Language Models [8.14992136443131]
  本稿では,大規模言語モデルに新しい機械学習フレームワークを導入する。 我々の目標は、LSMが有害、幻覚、あるいはプライバシーを侵害する応答を生じさせないようにすることです。 実験結果から,本手法はモデル性能を実質的に損なうことなく,学習対象を効果的に満たすことが示唆された。
  論文  参考訳（メタデータ） (2024-02-03T05:14:56Z)
• Open Sesame! Universal Black Box Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、有用で安全な応答を提供するように設計されている。 LLMは、しばしばユーザーの意図や社会的ガイドラインに合わせるためにアライメント技術に頼っている。 モデルアーキテクチャやパラメータがアクセスできない場合に,遺伝的アルゴリズム(GA)を用いてLLMを操作する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-04T08:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。