論文の概要: RAZOR: Ratio-Aware Layer Editing for Targeted Unlearning in Vision Transformers and Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.14819v1
• Date: Mon, 16 Mar 2026 04:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.054565
• Title: RAZOR: Ratio-Aware Layer Editing for Targeted Unlearning in Vision Transformers and Diffusion Models
• Title（参考訳）: RAZOR:視覚変換器と拡散モデルにおける目標未学習のための比認識層編集
• Authors: Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou,
• Abstract要約: Ratio-Aware Zero/One-stepOptimized Retentive Unlearning (RAZOR)を紹介する。 RAZORは、コーディネートされた複数層とマルチヘッドの編集をトランスフォーマーバックボーン内で忘れる更新を一般化する。 RAZORは量子化下であっても高精度で安定な記憶を実現することを示す。
• 参考スコア（独自算出の注目度）: 1.8986796884429726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer based diffusion and vision-language models have achieved remarkable success; yet, efficiently removing undesirable or sensitive information without retraining remains a central challenge for model safety and compliance. We introduce Ratio-Aware Zero/One-step Optimized Retentive unlearning (RAZOR), a lightweight, model-agnostic unlearning framework that generalizes forgetting updates to coordinated multi-layer and multi-head edits within transformer backbones. RAZOR identifies the most important layers and attention heads by measuring how much they contribute to forgetting the target data while preserving useful knowledge. Then, it updates these parts of the model using a carefully regularized rule to avoid harming overall performance. The set of edited components grows gradually, ensuring precise unlearning without over-editing or damaging unrelated capabilities. We evaluate RAZOR on CLIP, Stable Diffusion, and vision-language models (VLMs) using widely adopted unlearning benchmarks covering identity, style, and object erasure tasks. Our results show that RAZOR achieves highly accurate and stable forgetting, even under quantization. This approach offers stronger retention and better efficiency than prior methods. Notably, it also operates significant faster than conventional techniques. These results demonstrate that RAZOR is a practical and scalable solution for safe, adaptive unlearning in transformer-based vision models.
• Abstract（参考訳）: トランスフォーマーに基づく拡散と視覚言語モデルは非常に成功したが、しかしながら、リトレーニングなしで望ましくない情報やセンシティブな情報を効率的に取り除くことは、モデルの安全性とコンプライアンスにとって重要な課題である。 Ratio-Aware Zero/One-step Optimized Retentive Unlearning (RAZOR) は、トランスフォーマーバックボーン内の複数層および複数ヘッド編集の更新を忘れることを一般化する軽量でモデルに依存しないアンラーニングフレームワークである。 RAZORは、有用な知識を保持しながら、ターゲットデータを忘れることにどれだけ貢献するかを測定することで、最も重要なレイヤと注意を識別する。 そして、パフォーマンスを損なうことを避けるために、注意深く規則化されたルールを使用してモデルのこれらの部分を更新する。 編集されたコンポーネントの集合は徐々に成長し、過剰な編集や無関係な能力を損なうことなく、正確な未学習を保証する。 CLIP, 安定拡散, 視覚言語モデル(VLM)のRAZORを, アイデンティティ, スタイル, オブジェクト消去タスクを対象とし, 広く採用されている未学習ベンチマークを用いて評価した。 以上の結果から,RAZORは量子化下であっても,高精度かつ安定な記憶を実現することがわかった。 このアプローチは、従来の方法よりも強い保持と効率を提供する。 また、従来の技術よりもはるかに高速に動作している。 これらの結果から、RAZORはトランスフォーマーベースの視覚モデルにおいて、安全で適応的なアンラーニングのための実用的でスケーラブルなソリューションであることが示された。

関連論文リスト

• Grokked Models are Better Unlearners [5.8757712547216485]
  グラクテッドチェックポイントから始めると、ずっと効率的に忘れられる。 ポストグロキングモデルは、左行と左行と左行の間の勾配の調整を減らして、よりモジュラーな表現を学習する。
  論文  参考訳（メタデータ） (2025-12-03T04:35:49Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。 ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。 本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:17Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• What Really Matters for Learning-based LiDAR-Camera Calibration [50.2608502974106]
  本稿では,学習に基づくLiDAR-Cameraキャリブレーションの開発を再考する。 我々は、広く使われているデータ生成パイプラインによる回帰ベースの手法の限界を識別する。 また,入力データ形式と前処理操作がネットワーク性能に与える影響についても検討する。
  論文  参考訳（メタデータ） (2025-01-28T14:12:32Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。