論文の概要: SIEVE: Selective attention-value Suppression for Vision-Language Models Unlearning

• arxiv url: http://arxiv.org/abs/2610.01962v1
• Date: Thu, 01 Oct 2026 16:16:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.270205
• Title: SIEVE: Selective attention-value Suppression for Vision-Language Models Unlearning
• Title（参考訳）: SIEVE:未学習の視覚言語モデルに対する選択的注意値抑制
• Abstract要約: 選択型VLMアンラーニングのためのシンプルで効果的なフレームワークであるSIEVEを紹介する。 SIEVEは、複数のモデルモダリティ設定で、未学習で最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 34.862834818212825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of vision-language models (VLMs) to associate visual identities with biographical information creates a need for selective unlearning of personally identifiable information (PII) while preserving permitted knowledge about the same individual. This setting is challenging because both sensitive and retained information can share the same visual inputs and intermediate representations. We introduce SIEVE, a simple and effective framework for selective VLM unlearning. SIEVE directly regularizes attention-value representations while also controlling model outputs. SIEVE suppresses attention values for forget examples toward a constant zero, while preserving retain-example representations by matching them to a frozen reference model. These objectives are combined with sequence-level forget and retain supervision, enabling targeted forgetting without largely affecting retained knowledge. Extensive experiments show that SIEVE achieves state-of-the-art performance on unlearning with multiple model-modality settings, while maintaining competitive retained utility. Ablation studies further show that value suppression and negative cross-entropy contribute complementary forgetting signals, while reference-based value matching substantially reduces utility degradation. These results demonstrate that attention values provide an effective intervention point for selective multimodal unlearning when sensitive and retained knowledge are closely related.
• Abstract（参考訳）: 視覚言語モデル(VLM)が視覚的アイデンティティと生体情報とを関連付ける能力は、同一個人に関する許可された知識を維持しながら、個人識別可能な情報(PII)の選択的未学習の必要性を生じさせる。 機密情報と保持情報の両方が同じ視覚入力と中間表現を共有することができるため、この設定は難しい。 選択型VLMアンラーニングのためのシンプルで効果的なフレームワークであるSIEVEを紹介する。 SIEVEはアテンション値の表現を直接正規化し、モデル出力も制御する。 SIEVEは、保持例表現を凍結参照モデルにマッチさせて保存しながら、例をゼロにすることを忘れるための注意値を抑える。 これらの目的とシーケンスレベルの忘れと監視の維持が組み合わさり、保持された知識に大きく影響を及ぼすことなく、ターゲットの忘れを可能とします。 大規模な実験により,SIEVEは複数のモデルモダリティ設定で非学習の最先端性能を達成し,競争力を維持した。 アブレーション研究では、値の抑制と負のクロスエントロピーが相補的な忘れ信号に寄与することを示し、参照ベースの値マッチングは実用上の劣化を著しく減少させる。 これらの結果から,意識的・保持的知識が密接な関係にある場合,注意値が選択的マルチモーダル・アンラーニングの効果的な介入ポイントとなることが示唆された。

関連論文リスト

• Information-Regularized Attention for Visual-Centric Reasoning [30.245558374164492]
  視覚言語モデル(VLM)は多モーダル学習のパラダイムとなっているが、対象の幻覚、弱い視覚的接地、破滅的な忘れ物のために不安定なままである。 Information-Regularized Attention (IRA) は,中間変圧器層に隠された状態に注入される視覚情報量を明示的に規制するアテンション機構である。
  論文  参考訳（メタデータ） (2026-07-01T04:45:41Z)
• Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance [30.72675145829489]
  本稿では,トークンの忘れやすさとモデルパラメータを共同で学習する軽量フレームワークであるAlternating Token-Weighted Unlearning(ATWU)を紹介する。 ATWUは、最先端のトレードオフ、サンプルレベルの方法、確率ベースのトークン重み付け、補助モデルベースのアプローチを実現している。
  論文  参考訳（メタデータ） (2026-06-04T15:56:32Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models [63.05306474002547]
  を強制する規制フレームワークは、機械学習の必要性を喚起します。 AUVICはMLLMのための新しい視覚概念アンラーニングフレームワークである。 AUVICは,非ターゲット概念の性能劣化を最小限に抑えつつ,最先端の目標忘れ率を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-14T13:35:32Z)
• CAD-VAE: Leveraging Correlation-Aware Latents for Comprehensive Fair Disentanglement [24.818829983471765]
  深層生成モデルは、予測的特徴とともにセンシティブな属性を符号化することで、バイアスと公平性の問題を継承または増幅することができる。 本稿ではCAD-VAE(Correlation-Aware Disentangled VAE)を提案する。 ベンチマークデータセットの実験では、CAD-VAEはより公平な表現、現実的な反ファクト、公平性に配慮した画像編集の改善が示されている。
  論文  参考訳（メタデータ） (2025-03-11T00:32:56Z)
• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Leveraging vision-language models for fair facial attribute classification [19.93324644519412]
  汎用視覚言語モデル(英: General-purpose Vision-Language Model, VLM)は、共通感性属性のための豊富な知識源である。 我々は,VLM予測値と人間定義属性分布の対応関係を解析した。 複数のベンチマークの顔属性分類データセットの実験は、既存の教師なしベースラインよりもモデルの公平性の向上を示している。
  論文  参考訳（メタデータ） (2024-03-15T18:37:15Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。