論文の概要: Repurposing Adversarial Perturbations for Continual Learning: From Defense to Active Alignment

• arxiv url: http://arxiv.org/abs/2606.02322v1
• Date: Mon, 01 Jun 2026 14:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.287436
• Title: Repurposing Adversarial Perturbations for Continual Learning: From Defense to Active Alignment
• Title（参考訳）: 継続的な学習のための対向的摂動の再生:防衛からアクティブアライメントへ
• Authors: Ran Liu, Min Yu, Mingqi Liu, Jianguo Jiang, Gang Li, Rongsheng Li, Ning Li, Zhen Xu, Weiqing Huang, Ming Liu,
• Abstract要約: AdvCLは3つのプラグインモジュールを組み合わせている:-Smoothは小さな対向的摂動によって局所的な滑らかさを促進する; Proto-Clipは、現在のタスクプロトタイプへの過剰なアライメントを防ぐために類似性クリッピングを使用する; Inter-Alignは、表現的ギャップを減らすために、以前のタスクプロトタイプに対して方向アライメントを適用する。 実験では、標準性能とロバスト性の両方で一貫した利得を示し、忘れられやすく、より強い転送が可能である。
• 参考スコア（独自算出の注目度）: 20.37950128370149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In dynamic environments, large language models need to keep adapting to new tasks, but continual learning often suffers from forgetting, limited transfer, and vulnerability to adversarial perturbations. To address this, we present AdvCL, which repurposes adversarial perturbations as a geometric control signal for stable continual adaptation. AdvCL combines three plug-in modules: Intra-Smooth promotes local smoothness via small adversarial perturbations; Proto-Clip uses similarity clipping to prevent excessive alignment to current task prototype; and Inter-Align applies directional alignment toward previous task prototype to reduce representational gaps. Experiments show consistent gains in both standard performance and robustness, with lower forgetting and stronger transfer. We further analyze key mechanisms by quantifying the sensitivity of Intra-Smooth to perturbation settings and the effect of Inter-Align on task similarity and geometric distance. In summary, the modules provide complementary gains when combined, and each can also be integrated individually into diverse CL paradigms, including replay, regularization, and dynamic architectures, thereby offering a geometric control mechanism for continual learning.
• Abstract（参考訳）: 動的環境では、大きな言語モデルは新しいタスクに適応し続ける必要があるが、継続的な学習は、しばしば忘れ、限られた移動、敵の摂動に対する脆弱性に悩まされる。 そこで我々は, 対向摂動を幾何制御信号として利用し, 連続的適応を安定させるAdvCLを提案する。 AdvCLは3つのプラグインモジュールを組み合わせている:-Smoothは小さな対向的摂動によって局所的な滑らかさを促進する; Proto-Clipは、現在のタスクプロトタイプへの過剰なアライメントを防ぐために類似性クリッピングを使用する; Inter-Alignは、表現的ギャップを減らすために、以前のタスクプロトタイプに対して方向アライメントを適用する。 実験では、標準性能とロバスト性の両方で一貫した利得を示し、忘れられやすく、より強い転送が可能である。 さらに,摂動条件に対するスムース内感度の定量化と,タスク類似性および幾何学的距離に対するインターアライグの効果によって,鍵機構を解析する。 まとめると、これらのモジュールは相補的なゲインを提供し、各モジュールはリプレイ、正規化、動的アーキテクチャを含む様々なCLパラダイムに個別に統合することができ、連続学習のための幾何学的制御機構を提供する。

関連論文リスト

• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• Rethinking Transferable Adversarial Attacks on Point Clouds from a Compact Subspace Perspective [55.919842734983156]
  CoSAは、共有された低次元セマンティック空間内で機能する転送可能なアタックフレームワークである。 CoSAは、最先端のトランスファー可能な攻撃を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-30T15:48:11Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• ReMA: A Training-Free Plug-and-Play Mixing Augmentation for Video Behavior Recognition [11.125637599538988]
  Representation-Aware Mixing (ReMA) は,ミキシングを制御された代替プロセスとして定式化するプラグアンドプレイ拡張戦略である。 ReMAは分布制約下でクラス内混合を行い、統計的信頼性を高めながらクラス内ドリフトの無関係を抑える。 どのように、どこでミキシングが適用されるかを共同で制御することで、ReMAは、追加の監督やトレーニング可能なパラメータなしで表現を改善する。
  論文  参考訳（メタデータ） (2026-01-01T11:20:19Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。