論文の概要: Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation
- arxiv url: http://arxiv.org/abs/2608.03791v1
- Date: Tue, 04 Aug 2026 15:07:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.263006
- Title: Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation
- Title（参考訳）: モダリティ間の移動は期待できるか? クロスモーダルな知識未学習評価のための実世界ベンチマーク
- Abstract要約: 視覚言語モデル(VLM)におけるクロスモーダル知識学習のための実世界のベンチマークUNLink-VLを紹介する。
ポストホックなアンラーニング設定の下で、UNLink-VLは学習対象として視覚的に識別可能な現実世界のエンティティを選択し、Wikidataから対応するイメージとワンホップおよびマルチホップ事実を関連付ける。
テキストのみおよびマルチモーダルなアンラーニング設定下でモデルをトレーニングし、忘れることの有効性を評価し、テキスト、ビジュアル、およびクロスモーダルシナリオで有用性を維持する。
- 参考スコア（独自算出の注目度）: 11.978801502105624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs), like Large Language Models (LLMs), may memorize sensitive, copyrighted, or harmful knowledge from their pretraining corpora. Removing such knowledge is essential for building trustworthy AI systems. However, existing studies primarily focus on forgetting within individual modalities. Although recent work has begun to explore cross-modal consistency in unlearning, the cross-modal transfer of real-world knowledge unlearning remains insufficiently studied. To address this gap, we introduce UNLINK-VL, a real-world benchmark for cross-modal knowledge unlearning in VLMs. Under a post-hoc unlearning setting in which the original forget and retain corpora are unavailable, UNLINK-VL selects visually identifiable real-world entities as unlearning targets and associates them with corresponding images and one-hop and multi-hop facts derived from Wikidata. The benchmark comprises four complementary subsets that evaluate direct forgetting of target knowledge, the propagation of forgetting through relational knowledge, the preservation of related non-target knowledge, and robustness to semantically equivalent queries. We train models under text-only and multimodal unlearning settings and evaluate forgetting effectiveness and retained utility across textual, visual, and cross-modal scenarios. Extensive experiments reveal a pronounced asymmetry in cross-modal transfer: multimodal unlearning remains effective under textual evaluation, whereas text-only unlearning transfers poorly to visual and cross-modal scenarios. Meanwhile, the evaluated methods largely preserve the models' general capabilities. These findings demonstrate that relying solely on intra-modal evaluation, particularly text-only evaluation, may substantially overestimate the effectiveness of knowledge unlearning in VLMs, underscoring the need for cross-modal unlearning and evaluation.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、LLM(Large Language Models)と同様に、訓練前のコーパスから機密性、著作権、有害な知識を記憶することができる。
このような知識を除去することは、信頼できるAIシステムを構築する上で不可欠である。
しかし、既存の研究は主に個別のモダリティの中で忘れることに焦点を当てている。
最近の研究は、非学習におけるクロスモーダルな一貫性を探求し始めているが、非学習における現実世界の知識のクロスモーダルな伝達は、まだ十分に研究されていない。
このギャップに対処するために、VLMにおけるクロスモーダル知識学習のための実世界のベンチマークUNLINK-VLを導入する。
UNLINK-VLは、元の忘れと保持のコーパスが利用できないポストホックな未学習環境下で、視覚的に識別可能な現実世界の実体を未学習のターゲットとして選択し、対応する画像とWikidataから派生したワンホップとマルチホップの事実とを関連付ける。
このベンチマークは、4つの補完的なサブセットからなり、ターゲット知識の直接的忘れ、関係知識による忘れの伝播、関連する非ターゲット知識の保存、意味論的に等価なクエリに対する堅牢性を評価する。
テキストのみおよびマルチモーダルなアンラーニング設定下でモデルをトレーニングし、忘れることの有効性を評価し、テキスト、ビジュアル、およびクロスモーダルシナリオで有用性を維持する。
マルチモーダル・アンラーニングは、テキストによる評価の下では有効であり、テキストのみのアンラーニングは、視覚的およびクロスモーダルなシナリオでは不十分である。
一方、評価された手法はモデルの一般的な能力をほとんど維持する。
これらの結果から,モーダル内評価,特にテキストのみの評価にのみ依存することは,VLMにおける知識未学習の有効性を著しく過大評価し,モーダル非学習と評価の必要性を浮き彫りにする可能性が示唆された。
関連論文リスト
- PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models [31.957271923746713]
我々は,現実的な人中心の削除要求の下で,コーパスのないマルチモーダル・アンラーニングを評価するためのベンチマークであるPRMUを紹介する。
PRMUは自然に獲得した人的知識に着目し、モデルが関連する知識を保持しながら対象の知識を除去できるかどうかを評価する。
さらに、知識変位、保護されたパラメータ空間編集、局所性を考慮したマルチモーダル制御を備えた軽量なコーパスなし未学習ベースラインであるSGPE(Simisity-Gated Projection Editing)を紹介する。
論文 参考訳（メタデータ） (2026-08-11T17:09:28Z) - PPU-Bench:Real World Benchmark for Personalized Partial Unlearning in Vision Language Models [21.018275195083305]
MLLMにおけるパーソナライズされた部分的アンラーニングのための実世界および微調整不要なベンチマークであるPPU-Benchを紹介する。
PPU-Benchは、500人の公開人物の事前知識から得られた24Kのマルチモーダルとユニモーダルのサンプルを含んでいる。
論文 参考訳（メタデータ） (2026-05-09T08:46:00Z) - LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。
本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
論文 参考訳（メタデータ） (2026-05-01T06:11:42Z) - OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics [82.0813150432867]
我々は,大規模言語モデル(LLM)のアンラーニング手法とメトリクスをベンチマークするための標準フレームワークであるOpenUnlearningを紹介する。
OpenUnlearningは、13のアンラーニングアルゴリズムと16のさまざまな評価を3つの主要なベンチマークで統合する。
また、多様なアンラーニング手法をベンチマークし、広範囲な評価スイートとの比較分析を行う。
論文 参考訳（メタデータ） (2025-06-14T20:16:37Z) - Quantifying Cross-Modality Memorization in Vision-Language Models [86.82366725590508]
モーダリティ記憶のユニークな特徴について検討し,視覚言語モデルを中心とした体系的な研究を行う。
以上の結果から,一方のモダリティが他方のモダリティに伝達されることが判明したが,情報源の情報と対象のモダリティの間には大きなギャップがあることがわかった。
論文 参考訳（メタデータ） (2025-06-05T16:10:47Z) - PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models [27.338242898495448]
マルチモーダル大規模言語モデル (MLLM) は視覚言語タスクにおいて顕著な成功を収めた。
膨大なインターネットソースデータへの依存は、プライバシーとセキュリティの重大な懸念を引き起こす。
マシン・アンラーニング(MU)はこれらの問題に対処するための重要な手法として登場した。
PEBenchはMLLMにおけるMUの徹底的な評価を容易にするために設計された新しいベンチマークである。
論文 参考訳（メタデータ） (2025-03-16T15:26:20Z) - Vision-Language Models Struggle to Align Entities across Modalities [13.100184125419695]
クロスモーダルなエンティティリンクは、マルチモーダルコード生成のような現実世界のアプリケーションに必要な基本的なスキルである。
我々のベンチマークであるMATEは5.5kの評価インスタンスで構成されており、視覚シーンはテキスト表現と一致している。
現状のビジョン・ランゲージ・モデル(VLM)と人間をこの課題で評価し,VLMが人間と比べ有意に苦労していることを見いだした。
論文 参考訳（メタデータ） (2025-03-05T19:36:43Z) - Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。
情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。
FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-05T23:26:10Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。