論文の概要: Knowledge Vector Weakening: Efficient Training-free Unlearning for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2601.21794v1
• Date: Thu, 29 Jan 2026 14:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.898044
• Title: Knowledge Vector Weakening: Efficient Training-free Unlearning for Large Vision-Language Models
• Title（参考訳）: 知識ベクトルウェイクニング:大規模視覚言語モデルのための効果的な学習不要な学習
• Authors: Yejin Kim, Dongjun Hwang, Sungmin Cha, Junsuk Choe,
• Abstract要約: Knowledge Vector Weakening (KVW) は、勾配計算なしで直接モデルに介入する訓練なしのアンラーニング手法である。 MLLMUとCLEARのベンチマーク実験により、KVWは安定な忘れがちなトレードオフを達成し、計算効率を著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 16.045233710264842
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Vision-Language Models (LVLMs) are widely adopted for their strong multimodal capabilities, yet they raise serious concerns such as privacy leakage and harmful content generation. Machine unlearning has emerged as a promising solution for removing the influence of specific data from trained models. However, existing approaches largely rely on gradient-based optimization, incurring substantial computational costs for large-scale LVLMs. To address this limitation, we propose Knowledge Vector Weakening (KVW), a training-free unlearning method that directly intervenes in the full model without gradient computation. KVW identifies knowledge vectors that are activated during the model's output generation on the forget set and progressively weakens their contributions, thereby preventing the model from exploiting undesirable knowledge. Experiments on the MLLMU and CLEAR benchmarks demonstrate that KVW achieves a stable forget-retain trade-off while significantly improving computational efficiency over gradient-based and LoRA-based unlearning methods.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)はその強力なマルチモーダル機能に広く採用されているが、プライバシー漏洩や有害なコンテンツ生成といった深刻な懸念を生じさせている。 機械学習は、トレーニングされたモデルから特定のデータの影響を取り除くための有望なソリューションとして登場した。 しかし、既存のアプローチは勾配に基づく最適化に大きく依存しており、大規模LVLMに対してかなりの計算コストがかかる。 この制限に対処するために、勾配計算なしで直接モデルに介入する訓練不要な未学習手法であるKVW(Knowledge Vector Weakening)を提案する。 KVWは、モデルが出力生成中にナックセットで活性化される知識ベクトルを特定し、その貢献を徐々に弱め、モデルが望ましくない知識を利用するのを防ぐ。 MLLMU と CLEAR ベンチマークの実験により、KVW はグラデーションベースおよび LoRA ベースの未学習手法よりも計算効率を著しく向上し、安定な忘れがちなトレードオフを達成することが示された。

関連論文リスト

• Forgetting-MarI: LLM Unlearning via Marginal Information Regularization [6.979586479353831]
  既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。 我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。 限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-11-14T22:48:39Z)
• MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
  MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。 逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-05T14:20:17Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Efficient Knowledge Feeding to Language Models: A Novel Integrated Encoder-Decoder Architecture [0.0]
  ICVは言語モデルの潜在埋め込みを用いて、コンテキスト内学習をリキャストする。 ICVは直接情報をモデルに統合し、この情報をより効率的に処理することができる。
  論文  参考訳（メタデータ） (2025-02-07T04:24:07Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。