論文の概要: TULIP: Targeted LLM Unlearning at Layers Identified Per-Input

• arxiv url: http://arxiv.org/abs/2609.34591v1
• Date: Mon, 28 Sep 2026 08:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:06:21.152095
• Title: TULIP: Targeted LLM Unlearning at Layers Identified Per-Input
• Title（参考訳）: TULIP: 入力毎に識別されたレイヤでのLLMの未学習を目標に
• Abstract要約: 我々は、ターゲットモデルの隠れた状態を、保持セットのみで訓練されたオラクルに移植するハイジャック実験を設計する。 オラクルは自分自身で忘れた答えを生成できないが、移植された状態から答えを生成する。 これらの知見に触発され、我々は層同定された1つの入力におけるターゲット未学習を提案する。
• 参考スコア（独自算出の注目度）: 17.82238661880355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation-level unlearning intervenes on the intermediate hidden states of LLMs. Although knowledge is distributed across layers, existing methods operate at a single fixed layer for the entire forget set. We ask whether such a fixed layer is sufficient. To answer this, we design a hijacking experiment that grafts hidden states of the target model into an oracle trained only on the retain set. The oracle cannot produce the forget answer on its own, yet it produces the answer from the grafted state. Thus, the answer is formed at an intermediate layer and merely read out afterward, so unlearning should focus on formation, not readout. Moreover, the layer where formation ends varies widely across inputs. Motivated by these findings, we propose Targeted Unlearning at Layers Identified Per-input (TULIP). For each input, TULIP uses the logit lens to locate the formation-readout boundary and removes the hidden state's alignment with the forget answer's unembedding vector there. TULIP consistently outperforms output- and representation-level baselines on TOFU, PISTOL, and WMDP across Llama, Qwen, and Zephyr models. It also remains robust to paraphrase and quantization attacks. Beyond standalone use, its per-input layer selection serves as a plug-and-play component that further improves existing methods.
• Abstract（参考訳）: 表現レベルの未学習はLLMの中間的隠蔽状態に介入する。 知識は層に分散していますが、既存のメソッドは1つの固定層で動作します。 そのような固定層が十分かどうかを問う。 そこで我々は,対象モデルの隠れた状態を,保持集合のみに訓練されたオラクルに移植するハイジャック実験を設計した。 オラクルは自分自身で忘れた答えを生成できないが、移植された状態から答えを生成する。 したがって、答は中間層に形成され、その後のみ読み出されるので、未学習は読み出ではなく、形成に焦点をあてるべきである。 さらに、生成が終了する層は入力によって大きく異なる。 これらの知見に触発されて,TULIP(Layers Identified Per-Input)におけるターゲット未学習を提案する。 それぞれの入力に対して、TULIPはロジットレンズを使用して、生成読み出し境界を見つけ出し、隠された状態のアライメントを、忘れた解答の非埋め込みベクトルと取り除く。 TULIPは、出力レベルのベースラインと表現レベルのベースラインを、TOFU、PISTOL、WMDPで、Llama、Qwen、Zephyrモデルで一貫して上回っている。 また、パラフレーズや量子化攻撃にも頑健である。 スタンドアロンの使用以外にも、インプット毎のレイヤ選択は、既存のメソッドをさらに改善するプラグイン・アンド・プレイコンポーネントとして機能する。

関連論文リスト

• Programs-of-Layers in LLMs through the Lens of Cortical Areas [0.17856410179559387]
  Li et al. (2026) は先日,プログラム・オブ・レイヤ (PoLar) と呼ばれるシステムで,トランスフォーマーに同様の柔軟性が与えられることを示した。 我々は,PoLarの診断MCTSを元の論文よりも詳細に再構成し,5モデルに応用した。 少数の汎用プログラムが、ほとんどの問題を解くのに十分であることがわかった。
  論文  参考訳（メタデータ） (2026-09-25T14:55:50Z)
• Deployable Per-Instance Multi-Layer Activation Steering for Large Language Models [0.17188280334580194]
  アクティベーションステアリングは凍結した言語モデルの振る舞いを編集する。 インスタンスごとの多層選択をよく理解し、デプロイ可能にします。
  論文  参考訳（メタデータ） (2026-08-09T17:23:00Z)
• Skip a Layer or Loop It? Learning Program-of-Layers in LLMs [22.794776940675828]
  大規模言語モデル(LLM)は、すべてのレイヤの固定された深さと順序に従って推論を行う。 トレーニングフリー、フレキシブル、動的プログラム・オブ・レイヤー(PoLar)の幅広い存在を明らかにする。 本稿では,各入力に対して事前学習したレイヤを動的にスキップあるいは繰り返す実行プログラムを生成する軽量なPoLar予測ネットワークを提案する。
  論文  参考訳（メタデータ） (2026-06-04T17:59:58Z)
• GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics [51.647572539626715]
  GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。 6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。 さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
  論文  参考訳（メタデータ） (2026-04-03T07:52:26Z)
• Reclaiming Lost Text Layers for Source-Free Cross-Domain Few-Shot Learning [30.807806199034587]
  Source-Free Cross-Domain Few-Shot Learningは、ターゲットドメインからの限られたトレーニングデータによる微調整に焦点を当てている。 テキストエンコーダの中間層を削除したtextbfremov は、性能を効果的に向上させることができる。 本稿では,失われた層内の情報を層レベルとエンコーダレベルの両方でテクスブフレで活用する手法を提案する。
  論文  参考訳（メタデータ） (2026-03-05T14:51:52Z)
• Not All Layers of LLMs Are Necessary During Inference [68.88671495401483]
  いくつかのタスクにおいて、Large Language Modelsはいくつかの中間層での最終的な出力に匹敵する結果が得られることを示す。 本稿では,入力インスタンスの推論処理を適応的に終了するアルゴリズムAdaInferを提案する。
  論文  参考訳（メタデータ） (2024-03-04T16:23:58Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• PathFinder: Discovering Decision Pathways in Deep Neural Networks [10.914300987810126]
  同じクラスのインスタンスが、レイヤ上の少数のクラスタシーケンスに従っていることに気付き、決定パスを名付けています。 このようなパスは、分類決定が通常どのように行われるかを説明し、また、異常なパスに従う外れ値を決定するのにも役立ちます。 我々は、MNISTとCELEBで訓練された2つのフィードフォワードネットワークと、PenDigitsで訓練された1つの繰り返しネットワークを用いて、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-10-01T16:49:55Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。