論文の概要: OFFSIDE: Benchmarking Unlearning Misinformation in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2510.22535v1
• Date: Sun, 26 Oct 2025 05:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.238342
• Title: OFFSIDE: Benchmarking Unlearning Misinformation in Multimodal Large Language Models
• Title（参考訳）: OFFSIDE: マルチモーダル大規模言語モデルにおける学習ミス情報のベンチマーク
• Authors: Hao Zheng, Zirui Pang, Ling li, Zhijie Deng, Yuhan Pu, Zhaowei Zhu, Xiaobo Xia, Jiaheng Wei,
• Abstract要約: MLLMにおける誤情報アンラーニングを評価するための新しいベンチマークであるOFFSIDEを紹介する。 このデータセットは80人のプレイヤーのための15.68Kレコードを含み、忘れることの有効性、一般化、実用性、堅牢性を評価するための4つのテストセットを備えた包括的なフレームワークを提供する。 Offsideは、選択的アンラーニングや修正的再ラーニングといった高度な設定をサポートしており、重要なのは、一助的アンラーニングだ。
• 参考スコア（独自算出の注目度）: 42.313806202695176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in Multimodal Large Language Models (MLLMs) intensify concerns about data privacy, making Machine Unlearning (MU), the selective removal of learned information, a critical necessity. However, existing MU benchmarks for MLLMs are limited by a lack of image diversity, potential inaccuracies, and insufficient evaluation scenarios, which fail to capture the complexity of real-world applications. To facilitate the development of MLLMs unlearning and alleviate the aforementioned limitations, we introduce OFFSIDE, a novel benchmark for evaluating misinformation unlearning in MLLMs based on football transfer rumors. This manually curated dataset contains 15.68K records for 80 players, providing a comprehensive framework with four test sets to assess forgetting efficacy, generalization, utility, and robustness. OFFSIDE supports advanced settings like selective unlearning and corrective relearning, and crucially, unimodal unlearning (forgetting only text data). Our extensive evaluation of multiple baselines reveals key findings: (1) Unimodal methods (erasing text-based knowledge) fail on multimodal rumors; (2) Unlearning efficacy is largely driven by catastrophic forgetting; (3) All methods struggle with "visual rumors" (rumors appear in the image); (4) The unlearned rumors can be easily recovered and (5) All methods are vulnerable to prompt attacks. These results expose significant vulnerabilities in current approaches, highlighting the need for more robust multimodal unlearning solutions. The code is available at \href{https://github.com/zh121800/OFFSIDE}{https://github.com/zh121800/OFFSIDE}.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の進歩は、データのプライバシに関する懸念を強め、学習情報の選択的削除であるMachine Unlearning(MU)を重要不可欠なものにしている。 しかし、MLLMの既存のMUベンチマークは、画像の多様性の欠如、潜在的な不正確さ、そして実際のアプリケーションの複雑さを捉えるのに失敗した評価シナリオによって制限されている。 MLLMのアンラーニングを容易化し,上記の制限を緩和するために,フットボール・トランスファーの噂に基づいて,MLLMにおける誤情報アンラーニングを評価するための新しいベンチマークOFFSIDEを導入する。 この手動でキュレートされたデータセットは80人のプレイヤーのための15.68Kレコードを含み、忘れることの有効性、一般化、有用性、堅牢性を評価するための4つのテストセットを備えた包括的なフレームワークを提供する。 OFFSIDEは、選択的アンラーニングや修正的再ラーニングといった高度な設定をサポートし、重要な点として、(テキストデータのみをフォーゲッティングする)非モーダルアンラーニングをサポートする。 1) 単元的手法(テキストベース知識の活用)はマルチモーダルなうわさで失敗する; (2) 未学習の有効性は破滅的な忘れによって大きく左右される; (3) 全ての手法は「視覚的うわさ」に苦しむ; (4) 未学習のうわさは容易に回収でき、(5) 全ての手法は即時攻撃に対して脆弱である。 これらの結果は、現在のアプローチにおける重大な脆弱性を明らかにし、より堅牢なマルチモーダルなアンラーニングソリューションの必要性を強調している。 コードは \href{https://github.com/zh121800/OFFSIDE}{https://github.com/zh121800/OFFSIDE} で公開されている。

関連論文リスト

• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
  我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。 その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
  論文  参考訳（メタデータ） (2025-05-01T01:54:00Z)
• PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models [27.338242898495448]
  マルチモーダル大規模言語モデル (MLLM) は視覚言語タスクにおいて顕著な成功を収めた。 膨大なインターネットソースデータへの依存は、プライバシーとセキュリティの重大な懸念を引き起こす。 マシン・アンラーニング(MU)はこれらの問題に対処するための重要な手法として登場した。 PEBenchはMLLMにおけるMUの徹底的な評価を容易にするために設計された新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-03-16T15:26:20Z)
• Breaking Chains: Unraveling the Links in Multi-Hop Knowledge Unlearning [38.03304773600225]
  大きな言語モデル(LLM)は、しばしば個人または著作権のあるデータを含む巨大な情報ストアとして機能し、それらをゼロから再トレーニングすることは不可能である。 MUNCHは、マルチホップクエリをサブクエストに分解し、最終的な意思決定における未学習モデルの不確実性を活用する、単純な不確実性に基づくアプローチである。
  論文  参考訳（メタデータ） (2024-10-17T07:00:15Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• MLLM Is a Strong Reranker: Advancing Multimodal Retrieval-augmented Generation via Knowledge-enhanced Reranking and Noise-injected Training [9.023648972811458]
  RagVLは、知識強化されたリグレードとノイズ注入トレーニングを備えた、新しいフレームワークである。 我々はMLLMに簡単な命令テンプレートを付与し、そのランク付け能力を誘導する。 例えば、データとトークンレベルでのトレーニング中に視覚ノイズを注入して、ジェネレータの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-31T08:43:17Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [111.51612340032052]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。