論文の概要: Cascade: Hierarchical Recoverability Control for Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2609.16890v1
• Date: Tue, 15 Sep 2026 09:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.432708
• Title: Cascade: Hierarchical Recoverability Control for Large Language Model Unlearning
• Title（参考訳）: Cascade: 大規模言語モデル学習のための階層的回復可能性制御
• Abstract要約: 目的知識の内部認識可能性を最小限に抑える階層的回復可能性制御フレームワークであるカスケードを提案する。 TOFU、MUSE-News、WMDPに関する実験は、クエリの再構成と抽出スタイルのプロンプトによる堅牢性テストを含むが、カスケードは安定したモデルユーティリティを維持しながら、回復性を効果的に低下させることを示した。
• 参考スコア（独自算出の注目度）: 30.23951219137705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) unlearning is essential for removing sensitive or copyrighted knowledge while preserving general utility. Existing methods often leave residual knowledge in intermediate representations, which can still be recovered. To address this, we propose Cascade, a hierarchical recoverability control framework that minimizes the internal identifiability of target knowledge. Cascade combines three complementary controls: path-level routing to suppress privacy-associated activation routes, representation-level compression to reduce geometric separability, and decoding-level intervention to limit residual recovery. Experiments on TOFU, MUSE-News, and WMDP, including robustness tests with query reformulation and extraction-style prompts, show that Cascade effectively reduces recoverability while maintaining stable model utility.
• Abstract（参考訳）: 大言語モデル(LLM)の未学習は、汎用性を維持しながら、機密性や著作権のある知識を取り除くために不可欠である。 既存の手法は、しばしば中間表現に残余の知識を残し、依然として回復することができる。 そこで本稿では,対象知識の内部識別可能性を最小限に抑える階層的回復可能性制御フレームワークCascadeを提案する。 カスケードは、プライバシに関連するアクティベーションルートを抑えるパスレベルルーティング、幾何学的分離性を減らす表現レベル圧縮、残留回復を制限するデコードレベル介入の3つの補完的な制御を組み合わせた。 TOFU、MUSE-News、WMDPに関する実験は、クエリの再構成と抽出スタイルのプロンプトによる堅牢性テストを含むが、カスケードは安定したモデルユーティリティを維持しながら、回復性を効果的に低下させることを示した。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Forgetting Only What Matters: Layer-Selective Unlearning toward Robust LLMs [1.988145627448243]
  LLM(Large Language Models)は、機密性のある、著作権のある、あるいは望ましくないトレーニングコンテンツを記憶し、再現することができる。 本研究では,階層レベルのアンラーニングフレームワークであるFOM-UL(Nothing Only What Matters via Unlearning Layers)を提案する。
  論文  参考訳（メタデータ） (2026-09-09T16:50:41Z)
• Robust Dynamic Expansion for Continual Learning under Backdoor Attacks via Purification and Selective Recovery [21.762207770794916]
  実際のシナリオでは、信頼できないソースから収集されたタスクストリームには、バックドア毒素のサンプルが含まれる可能性がある。 本稿では, 試料浄化, 選択的回収, 頑健なエキスパートルーティングを統合した, 堅牢な動的拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-06T02:52:44Z)
• Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation [27.410703803632718]
  本稿では,メモリ管理をコスト対応ルーティングと周期的パラメトリック統合を通じて書き込みフェーズに移行するフレームワークを提案する。 1.7B/8Bカスケードは、入力の50%未満をエスカレートしながら、最大68%の冗長な外部メモリをプルーする。 さらに、周期的な統合は外部知識の内在化に成功し、モデルの境界が発展するにつれて、ルータが冗長な書き込みを適応的に抑制できることを示す。
  論文  参考訳（メタデータ） (2026-08-23T04:40:13Z)
• Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
  継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。 我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。 制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
  論文  参考訳（メタデータ） (2026-08-12T06:01:49Z)
• Adaptive state-action abstractions via rate-distortion [52.25810164390199]
  強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:10:18Z)
• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency [65.07757274822207]
  大規模ビジョン言語モデル(LVLM)は、目覚ましい能力を示し、その相当な計算とメモリ要件は、リソース制約されたエッジデバイスへのデプロイメントに挑戦する。 言語モデルバックボーンに構造化プルーニングを適用して既存のLVLMを圧縮し,その後に軽量回復訓練を行った。
  論文  参考訳（メタデータ） (2026-04-27T12:10:44Z)
• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Towards Control-Centric Representations in Reinforcement Learning from Images [43.21376020617722]
  ReBisは、報酬なしの制御情報と報酬特化知識を統合することで、制御中心の情報を取得することを目指している。 AtariゲームとDeepMind Control Suitを含む2つの大規模なベンチマークに関する実証研究は、ReBisが既存の方法よりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-10-25T14:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。