論文の概要: Causal Routing for Unlearning

• arxiv url: http://arxiv.org/abs/2609.34475v1
• Date: Mon, 28 Sep 2026 07:29:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:14:37.963423
• Title: Causal Routing for Unlearning
• Title（参考訳）: アンラーニングのための因果ルーティング
• Abstract要約: CRU(Causal Routing for Unlearning)について紹介する。 CRUは、この概念がモデルでどこに表現され、その部分だけを抑圧するかを問う。 トレーニングされていないフォワードが、その活性化の仕方によってニューロンをランク付けする。 これらのニューロンの小さなルーティングモジュールは、忘れられる必要のある概念のみをゲートし、抑制する。
• 参考スコア（独自算出の注目度）: 15.689793984228508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs cannot forget the way we delete a file. Strangely, we are asked to remove something that was never put anywhere in particular. What the model took from a piece of text is now smeared across billions of weights. Existing methods rewrite all of them to change one thing, and none of them say which part produced that change. To address this, we introduce Causal Routing for Unlearning (CRU) by asking where the concept is expressed in the model and suppressing only that part. One untrained forward pass over the forget set ranks neurons by how their activations vary. Then, small routing modules on those neurons gate and suppress only the concepts that need to be forgotten. In CRU, the base model is frozen, and any change in behavior is caused only by the gated neurons; hence, why the routing is causal. Due to our parameter efficiency (only ~0.01% as many parameters as the base model), unlearning a concept costs 14 GiB, whereas the baselines require 71 GiB. On TOFU, CRU is indistinguishable from the retained model (p > 0.05, KS test) and is never Pareto-dominated, whereas every compared baseline matches its forgetting on the larger-forget batches only by collapsing utility. On RWKU, it achieves an adversarial-probe recall of 0.052, compared to 0.250 for the strongest baseline, meaning the knowledge is gone, not merely harder to reach. Thus, deciding on the intervention at query time, rather than fixing it beforehand, is the axis along which we argue that unlearning should proceed.
• Abstract（参考訳）: LLMはファイルの削除方法を忘れることはできない。 奇妙なことに、私たちは特にどこにも置かれなかったものを削除するよう求められています。 モデルがテキストから取ったものは、今や何十億もの重みにまたがっている。 既存のメソッドは、すべてのメソッドを書き換えてひとつのことを変更します。 これを解決するために、モデル内で概念がどこに表現され、その部分のみを抑圧するかを問うことで、CRU(Causal Routing for Unlearning)を導入する。 トレーニングされていないフォワードが、その活性化の仕方によってニューロンをランク付けする。 そして、これらのニューロンの小さなルーティングモジュールをゲートし、忘れられる必要のある概念だけを抑圧する。 CRUでは、ベースモデルが凍結され、ゲートニューロンによってのみ振る舞いの変化が引き起こされるため、ルーティングが因果的である。 パラメータ効率(ベースモデルに比べて0.01%程度しかパラメータを学習できない)のため、概念の学習には14 GiBがかかるが、ベースラインは71 GiBが必要である。 TOFUでは、CRUは保持されたモデル(p > 0.05, KS テスト)と区別できず、パレートが支配されることはない。 RWKUでは、最強のベースラインの0.250に対して0.052の逆のリコールを達成している。 したがって、事前に修正するのではなく、クエリ時の介入を決定することが、未学習が進むべきだと主張する軸になります。

関連論文リスト

• Rewired or Gated? How Instruction Tuning Shapes Knowledge-Conflict Circuits in LLMs [0.0]
  チューニングはモデルをパラメトリックメモリにシフトさせ、インストラクションモデルがベースメモリよりもはるかに正確な反ファクトコンテキストを拒否する。 したがって、命令チューニングがテラスインジェクションに対して持つロバスト性は本物だが狭くなっている。 コンフリクト回路は再構築されるのではなく保存されているため、ベースモデル上でキャリブレーションされた解釈可能性と制御ツールは、配置されたインストラクション兄弟に直接転送されるべきである。
  論文  参考訳（メタデータ） (2026-09-22T02:49:16Z)
• How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE [9.309878989186581]
  指示アブレーションは、残余ストリームを記述する重みから1つの"拒絶方向"を投影することで、整列言語モデルの拒否する能力を取り除く。 残留ストリームがもはや1つのテンソルではなく、重量船が定量化されるような、フロンティア・オブ・エキスパート・ミックスへのシフトを生き残るかどうかを考察する。
  論文  参考訳（メタデータ） (2026-09-09T06:48:08Z)
• How Temporal Correlations Shape Memory in Linear Recurrent Neural Networks [0.0]
  トレーニング中にネットワークがどれだけのメモリを蓄積するかを研究する。 非相関的な入力については、トレーニング自体が過去を維持し、現在にのみ反応するネットワークを落ち着かせることが初期の研究で判明した。 私たちの研究は、入力の1つの特性を、ネットワークがメモリを学習するかどうかの予測に変換する。
  論文  参考訳（メタデータ） (2026-08-31T21:57:51Z)
• Targeted Neuron Modulation via Contrastive Pair Search [0.0]
  ニューロンレベルの介入は、残留ストリーム法の品質トレードオフを伴わずに、信頼性の高い行動ステアリングを可能にする。 ベースモデルにも同様な遅延層識別構造があることがわかったが、これらのニューロンの操舵は内容シフトのみを生成する。 より広範に,アライメント微調整は,既存の識別構造をスパースかつターゲット可能な拒絶ゲートに変換することを示唆している。
  論文  参考訳（メタデータ） (2026-05-12T15:47:38Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks [85.84979847888157]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に弱いことが知られている。 LLMは、学習期間中に明示的に導入されなかった有害な知識を暗黙的に引き起こすことができる。 我々は、この現象を実証的に検証し、未学習の手法でアタック成功率を下げることを可能にする。
  論文  参考訳（メタデータ） (2024-07-03T07:14:05Z)
• CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction [52.94486705393062]
  我々は、典型的なマルチインスタンス学習(MIL)フレームワークを超えて、新しいコントラッシブ・インスタンス学習(CIL)フレームワークを提案する。 具体的には、初期MILをリレーショナルトリプルエンコーダと各インスタンスに対する負のペアに対する制約正のペアとみなす。 提案手法の有効性を実験的に検証し, 提案手法をNYT10, GDS, KBPで比較検討した。
  論文  参考訳（メタデータ） (2021-06-21T04:51:59Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [64.41346045698144]
  長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-28T00:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。