論文の概要: BLADE: Bilevel Low-rank Augmented-Lagrangian Erasure for LLM Unlearning

• arxiv url: http://arxiv.org/abs/2608.22557v1
• Date: Sun, 23 Aug 2026 19:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.790951
• Title: BLADE: Bilevel Low-rank Augmented-Lagrangian Erasure for LLM Unlearning
• Title（参考訳）: BLADE:LLMアンラーニングのための双方向低ランク拡張ラグランジアン消去
• Abstract要約: 既存のアンラーニング手法はロバスト性に苦しむ: モデルの一貫性を損なうことを忘れる、固定ウェイトバランスはトレーニング中の困難さを維持するために適応できない、そしてスケーリングや繰り返しアプリケーションの下で1つのベンチマークで機能するメソッド。 本稿では,3つのメカニズムが最適化景観のスムーズで予測可能な制御を与える制約付き双方向フレームワークBLADEを提案する。 BLADEは3つのベンチマークファミリで支配的であり、TOFUで6ドル、MUSE Booksで9ドル、KnowUndoで7ドルという最強のベースラインでの平均合成スコアを6ドル改善している。
• 参考スコア（独自算出の注目度）: 5.254641969850694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing LLM unlearning methods struggle with robustness: unbounded forget losses degrade model coherence, fixed-weight balancing cannot adapt as retain difficulty shifts mid-training, and methods that work on one benchmark falter under scaling or repeated application. We propose BLADE, a constrained bilevel framework whose three mechanisms give smooth, predictable control over the optimization landscape: a clamped-entropy forget loss whose gradient is exactly zero once a token reaches sufficient uncertainty; an asymmetric augmented Lagrangian that permanently ratchets retain protection after any violation; and a bilevel structure confined to LoRA adapters that repairs retain damage before each forgetting step. BLADE dominates across three benchmark families, improving average composite scores over the strongest baselines by $6$% on TOFU, $9$% on MUSE Books, and $7$% on KnowUndo, and it remains stable under $4\times$ scaling and $4$ sequential unlearning steps on MUSE News where the best competing method collapses entirely.
• Abstract（参考訳）: 既存のLLMアンラーニング手法はロバスト性に苦慮している。非バウンドな損失はモデルのコヒーレンスを低下させ、固定ウェイトバランスはトレーニング中の困難を保ちながら適応できない。 トークンが十分な不確実性に達すると、勾配が正確にゼロとなるクランプ付きエントロピーの忘れ損失と、何らかの違反後、恒久的に保護を維持する非対称拡張ラグランジアンと、各忘れステップ前に損傷を修復するLoRAアダプタに限定された2レベル構造である。 BLADEは3つのベンチマークファミリで支配的であり、TOFUで6ドル、MUSE Booksで9ドル、KnowUndoで7ドルという最強のベースラインで平均合成スコアを6ドル改善している。

関連論文リスト

• When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
  過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。 textbfBoundary-Aware Skill Memory (BASM)を提案する。 BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-23T10:16:06Z)
• Towards Understanding the Robustness of Sparse Autoencoders [13.16745936025085]
  本稿では,事前学習したSAEを推論時に変圧器残流に組み込むことについて検討する。 SAE強化モデルは、未定義のベースラインに対するジェイルブレイク成功率を最大5倍に向上させる。
  論文  参考訳（メタデータ） (2026-04-20T19:00:09Z)
• Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs [0.0]
  サイコファンの報酬信号が校正を低下させるかどうかを検討する。 3つのモデルに適用されるポストホック行列スケーリングは、ECEを40$--64%$で削減し、精度を1.5$--$$パーセンテージポイントで改善する。 これらの知見は、報酬ハッキングの校正効果を評価する方法論を確立し、校正対応訓練の目的を動機づけるものである。
  論文  参考訳（メタデータ） (2026-04-12T11:09:49Z)
• $\textbf{AGT$^{AO}$}$: Robust and Stabilized LLM Unlearning via Adversarial Gating Training with Adaptive Orthogonality [28.07698632768221]
  本研究では,ロバスト消去と実用性保全を両立させる統一的な枠組みを提案する。 Adversarial Gating Training (AGT)$ formulates unlearning as a latent-space min-max game。 実験によると、AGT$は、未学習の有効性とモデルユーティリティのトレードオフを緩和する。
  論文  参考訳（メタデータ） (2026-02-02T06:19:27Z)
• ReliabilityBench: Evaluating LLM Agent Reliability Under Production-Like Stress Conditions [0.32928123659012326]
  ツールを使用するLLMエージェントの既存のベンチマークでは、主に単一実行の成功率を報告し、運用に必要な信頼性特性を見逃している。 エージェントの信頼性を3次元にわたって評価するベンチマークである textbfReliabilityBench を紹介する。 我々は2つのモデル(Gemini 2.0 Flash, GPT-4o)と2つのエージェントアーキテクチャ(ReAct, Reflexion)を1,280回にわたって4つのドメイン(スケジューリング、旅行、カスタマーサポート、eコマース)で評価した。
  論文  参考訳（メタデータ） (2026-01-03T13:41:33Z)
• Stable Forgetting: Bounded Parameter-Efficient Unlearning in LLMs [30.089412595436585]
  我々は,大規模な言語モデル (LLM) のフィードフォワード層において,左折集合の上昇がいかに最適化を不安定化させるかを説明する理論的枠組みを提供する。 本研究では, パラメータ効率のよい手法である境界境界アンラーニングを提案し, 適応子に有界関数を適用することにより微調整を安定化する。 提案手法は,LLMにおける非学習のための理論的基盤と実践的拡張性を備えた枠組みを確立するとともに,保持状態を維持しながら忘れることの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-09-29T01:30:15Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [50.980446687774645]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。