論文の概要: Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2405.12523v2
• Date: Wed, 29 May 2024 05:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 22:22:47.187887
• Title: Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
• Title（参考訳）: 単一画像の学習:マルチモーダル大言語モデルにおける効率的な機械学習
• Authors: Jiaqi Li, Qianshan Wei, Chuanyi Zhang, Guilin Qi, Miaozeng Du, Yongrui Chen, Sheng Bi,
• Abstract要約: 本稿では,概念の視覚的認識を数ステップで微調整することで,概念の視覚的認識を解き放つための効率的な手法であるSingle Image Unlearning(SIU)を提案する。 MMUBench の実験結果から,SIU は既存手法の性能を大幅に上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 13.08771725554285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning empowers individuals with the `right to be forgotten' by removing their private or sensitive information encoded in machine learning models. However, it remains uncertain whether MU can be effectively applied to Multimodal Large Language Models (MLLMs), particularly in scenarios of forgetting the leaked visual data of concepts. To overcome the challenge, we propose an efficient method, Single Image Unlearning (SIU), to unlearn the visual recognition of a concept by fine-tuning a single associated image for few steps. SIU consists of two key aspects: (i) Constructing Multifaceted fine-tuning data. We introduce four targets, based on which we construct fine-tuning data for the concepts to be forgotten; (ii) Jointly training loss. To synchronously forget the visual recognition of concepts and preserve the utility of MLLMs, we fine-tune MLLMs through a novel Dual Masked KL-divergence Loss combined with Cross Entropy loss. Alongside our method, we establish MMUBench, a new benchmark for MU in MLLMs and introduce a collection of metrics for its evaluation. Experimental results on MMUBench show that SIU completely surpasses the performance of existing methods. Furthermore, we surprisingly find that SIU can avoid invasive membership inference attacks and jailbreak attacks. To the best of our knowledge, we are the first to explore MU in MLLMs. We will release the code and benchmark in the near future.
• Abstract（参考訳）: 機械学習は、機械学習モデルにエンコードされたプライベートまたはセンシティブな情報を削除することによって、忘れられる権利を持つ個人に権限を与える。 しかし、Multimodal Large Language Models (MLLM) にMUを効果的に適用できるかは、特にリークされた概念の視覚的データを忘れるシナリオにおいて不確実である。 この課題を克服するために, 複数ステップで単一の画像を微調整することで, 概念の視覚的認識を解き放つための, SIU (Single Image Unlearning) を提案する。 SIUは2つの重要な側面から構成される。 i)多面的微調整データの構築。 我々は,忘れられる概念の微調整データを構築するための4つの目標を導入する。 (二)共同訓練損失 概念の視覚的認識を同期的に忘れ,MLLMの実用性を維持するために,Cross Entropy Lossと組み合わせた新しいDual Masked KL-divergence Lossを用いてMLLMを微調整する。 本手法と並行して,MLLMにおけるMUの新しいベンチマークであるMMUBenchを確立し,その評価のためのメトリクスの集合を導入する。 MMUBench の実験結果から,SIU は既存手法の性能を大幅に上回っていることがわかった。 さらに,SIUは侵入的メンバーシップ推論攻撃や脱獄攻撃を回避できることがわかった。 私たちの知る限りでは、MLLMでMUを初めて探求しています。 近い将来、コードとベンチマークをリリースします。

関連論文リスト

• Adversarial Machine Unlearning [26.809123658470693]
  本稿では,機械学習モデルに対する特定のトレーニングデータの影響を取り除くことを目的とした,機械学習の課題に焦点を当てた。 伝統的に、未学習アルゴリズムの開発は、ある種のプライバシー脅威である会員推論攻撃(MIA)と並行して実行される。 未学習アルゴリズムの設計にMIAを統合するゲーム理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T20:07:22Z)
• MLLMReID: Multimodal Large Language Model-based Person Re-identification [14.68436005777866]
  MLLM(Multimodal large language model)は多くのタスクにおいて満足な結果を得た。 本稿では,ReIDの課題に適合させる方法について検討する。
  論文  参考訳（メタデータ） (2024-01-24T03:07:26Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [85.76186554492543]
  LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。 ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない 我々は,MLLMを用いたマルチモーダル学習に関する総合的な研究と実験を行うための,Octaviusと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-05T15:48:29Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)
• Multi-Modal Few-Shot Temporal Action Detection [157.96194484236483]
  Few-shot (FS) と Zero-shot (ZS) の学習は、時間的行動検出を新しいクラスに拡張するための2つの異なるアプローチである。 我々は、FS-TADとZS-TADの結婚として考えられるMMFS (Multi-modality few-shot) TAD問題を導入する。
  論文  参考訳（メタデータ） (2022-11-27T18:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。