論文の概要: From Learning to Unlearning: Biomedical Security Protection in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2508.04192v1
• Date: Wed, 06 Aug 2025 08:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.622966
• Title: From Learning to Unlearning: Biomedical Security Protection in Multimodal Large Language Models
• Title（参考訳）: 学習から学びへ:マルチモーダル大言語モデルにおけるバイオメディカルセキュリティ保護
• Authors: Dunyuan Xu, Xikai Yang, Yaoqian Li, Jinpeng Li, Pheng-Ann Heng,
• Abstract要約: トレーニングサンプルは、個人情報や誤った知識を容易に含んでいる。 バイオメディジンのためのマルチモーダル大規模言語モデル学習のための最初のベンチマークを提案する。 MLLMU-Medに対する5つの非学習的アプローチを評価し,これらの手法が有害な知識の除去に限られた効果を示した。
• 参考スコア（独自算出の注目度）: 40.113435386646636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The security of biomedical Multimodal Large Language Models (MLLMs) has attracted increasing attention. However, training samples easily contain private information and incorrect knowledge that are difficult to detect, potentially leading to privacy leakage or erroneous outputs after deployment. An intuitive idea is to reprocess the training set to remove unwanted content and retrain the model from scratch. Yet, this is impractical due to significant computational costs, especially for large language models. Machine unlearning has emerged as a solution to this problem, which avoids complete retraining by selectively removing undesired knowledge derived from harmful samples while preserving required capabilities on normal cases. However, there exist no available datasets to evaluate the unlearning quality for security protection in biomedical MLLMs. To bridge this gap, we propose the first benchmark Multimodal Large Language Model Unlearning for BioMedicine (MLLMU-Med) built upon our novel data generation pipeline that effectively integrates synthetic private data and factual errors into the training set. Our benchmark targets two key scenarios: 1) Privacy protection, where patient private information is mistakenly included in the training set, causing models to unintentionally respond with private data during inference; and 2) Incorrectness removal, where wrong knowledge derived from unreliable sources is embedded into the dataset, leading to unsafe model responses. Moreover, we propose a novel Unlearning Efficiency Score that directly reflects the overall unlearning performance across different subsets. We evaluate five unlearning approaches on MLLMU-Med and find that these methods show limited effectiveness in removing harmful knowledge from biomedical MLLMs, indicating significant room for improvement. This work establishes a new pathway for further research in this promising field.
• Abstract（参考訳）: バイオメディカルなマルチモーダル言語モデル(MLLM)の安全性が注目されている。 しかし、トレーニングサンプルには、検出が難しいプライベート情報や誤った知識が含まれており、デプロイ後のプライバシー漏洩や誤ったアウトプットにつながる可能性がある。 直感的なアイデアは、トレーニングセットを再処理して不要なコンテンツを取り除き、モデルをスクラッチから再トレーニングすることだ。 しかし、これは特に大規模言語モデルにおいて、計算コストがかなり大きいため、現実的ではない。 マシン・アンラーニングはこの問題の解決策として現れており、有害なサンプルから抽出された望ましくない知識を選択的に除去し、通常のケースで必要な能力を保ちながら、完全な再トレーニングを避ける。 しかし、バイオメディカルMLLMのセキュリティ保護のための未学習品質を評価するためのデータセットは存在しない。 このギャップを埋めるために,我々の新しいデータ生成パイプライン上に構築された,Multimodal Large Language Model Unlearning for BioMedicine (MLLMU-Med) の最初のベンチマークを提案する。 私たちのベンチマークは2つの主要なシナリオをターゲットにしています。 1) 患者個人情報が誤ってトレーニングセットに含まれている場合のプライバシ保護 2) 信頼できない情報源からの誤った知識をデータセットに埋め込んだ不正確さの除去により, 安全性の低いモデル応答が得られた。 さらに,異なるサブセット間でのアンラーニング性能を直接反映した,新しいアンラーニング効率スコアを提案する。 MLLMU-Medに対する5つの非学習的アプローチを評価し,これらの手法はバイオメディカルMLLMから有害な知識を除去する効果が限られており,改善の余地があることが示唆された。 この研究は、この将来性のある分野におけるさらなる研究の新たな道筋を確立する。

関連論文リスト

• Forget-MI: Machine Unlearning for Forgetting Multimodal Information in Healthcare Settings [5.200386658850142]
  Forget-MIはマルチモーダル医療データのための新しい機械学習手法である。 テストデータセットのパフォーマンス、テストデータセットのパフォーマンス、およびメンバーシップ推論攻撃(MIA)を用いて結果を評価する。 提案手法はMIAを0.202削減し,AUCとF1のスコアを0.221と0.305に下げる。
  論文  参考訳（メタデータ） (2025-06-29T08:53:23Z)
• Breaking the Gold Standard: Extracting Forgotten Data under Exact Unlearning in Large Language Models [26.5039481643457]
  我々は、さらに正確な未学習を損なう新しいデータ抽出攻撃を導入する。 模擬診断データセット上での攻撃の有効性を実証する。
  論文  参考訳（メタデータ） (2025-05-30T09:09:33Z)
• Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
  我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。 その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
  論文  参考訳（メタデータ） (2025-05-01T01:54:00Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
  言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。 本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。 POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-06-20T08:12:49Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Medical Unlearnable Examples: Securing Medical Data from Unauthorized Training via Sparsity-Aware Local Masking [24.850260039814774]
  商用AIモデルのトレーニングのような、認可されていない使用の恐れは、研究者が貴重なデータセットを共有するのを妨げる。 本研究では,画像全体ではなく重要な画素領域を選択的に摂動するSALM法を提案する。 実験により,SALMは,異なるモデルの不正なトレーニングを効果的に防止し,従来のSoTAデータ保護手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-15T02:35:36Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。