論文の概要: Rethinking Post-Unlearning Behavior of Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.02541v1
• Date: Tue, 03 Jun 2025 07:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.395604
• Title: Rethinking Post-Unlearning Behavior of Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルの学習後行動の再考
• Authors: Minsung Kim, Nakyeong Yang, Kyomin Jung,
• Abstract要約: 我々はLVLM(Large Vision-Language Models)のための新しいアンラーニングタスクを導入する。 このタスクでは、プライバシが保護されるが、情報的かつ視覚的に根拠づけられた応答を提供するモデルが必要である。 また,学習後の振る舞いを望ましい出力分布に導出する新しいアンラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 17.951441278605966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning is used to mitigate the privacy risks of Large Vision-Language Models (LVLMs) arising from training on large-scale web data. However, existing unlearning methods often fail to carefully select substitute outputs for forget targets, resulting in Unlearning Aftermaths-undesirable behaviors such as degenerate, hallucinated, or excessively refused responses. We highlight that, especially for generative LVLMs, it is crucial to consider the quality and informativeness of post-unlearning responses rather than relying solely on naive suppression. To address this, we introduce a new unlearning task for LVLMs that requires models to provide privacy-preserving yet informative and visually grounded responses. We also propose PUBG, a novel unlearning method that explicitly guides post-unlearning behavior toward a desirable output distribution. Experiments show that, while existing methods suffer from Unlearning Aftermaths despite successfully preventing privacy violations, PUBG effectively mitigates these issues, generating visually grounded and informative responses without privacy leakage for forgotten targets.
• Abstract（参考訳）: 機械学習は、大規模Webデータのトレーニングから生じるLVLM(Large Vision-Language Models)のプライバシーリスクを軽減するために使用される。 しかし、既存の未学習の手法は、しばしば忘れられたターゲットの代替出力を慎重に選択することに失敗し、結果として、退行、幻覚、過度に拒否された応答など、未学習の余波を望まない振る舞いが生じる。 本研究は,特にLVLMの生成において,ナイーブ抑制にのみ依存するのではなく,学習後応答の質と情報性を検討することが重要であることを強調する。 そこで本研究では,LVLMに対する新たな未学習タスクを提案する。 また,学習後の振る舞いを望ましい出力分布に導出する新しい未学習手法であるPUBGを提案する。 実験によると、既存の手法は、プライバシー侵害の防止に成功しているが、Unlearning Aftermathsに苦しめられているが、PUBGはこれらの問題を効果的に軽減し、忘れられたターゲットのプライバシー漏洩なしに視覚的に根拠づけられた情報的応答を生成する。

関連論文リスト

• Keeping an Eye on LLM Unlearning: The Hidden Risk and Remedy [36.19634262653306]
  本稿では、微調整に基づく未学習における重大な脆弱性を明らかにする。 悪意のあるユーザは操作済みの忘れた要求を作成でき、それをひそかにモデルの有用性を損なうことができる。 本研究では、スコープ項を学習対象に導入する軽量化として、スコープ認識型アンラーニング(SU)を提案する。
  論文  参考訳（メタデータ） (2025-05-31T02:57:24Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
  大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。 未学習の概念を導入し、未学習の知識を文脈内で再導入する。 我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
  論文  参考訳（メタデータ） (2024-06-27T10:24:35Z)
• Unlearning or Obfuscating? Jogging the Memory of Unlearned LLMs via Benign Relearning [37.061187080745654]
  LLMにおけるアンラーニングに対する既存のアプローチは、単純な$textitbenign再ラーニング攻撃の影響を受けやすいことを示す。 小さく、潜在的にゆるやかに関連付けられたデータのみにアクセスすることで、未学習モデルのメモリを'ジョグ'して、未学習の影響を逆転させることができることが分かりました。
  論文  参考訳（メタデータ） (2024-06-19T09:03:21Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• UNDIAL: Self-Distillation with Adjusted Logits for Robust Unlearning in Large Language Models [12.45822383965784]
  本稿では,UnDIAL(Unlearning via Self-Distillation on Adjusted Logits)を紹介する。 本手法では, 自己蒸留を利用してロジットを調整し, ターゲットトークンの影響を選択的に低減する。
  論文  参考訳（メタデータ） (2024-02-15T16:21:14Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Machine Unlearning in Large Language Models [8.14992136443131]
  本稿では,大規模言語モデルに新しい機械学習フレームワークを導入する。 我々の目標は、LSMが有害、幻覚、あるいはプライバシーを侵害する応答を生じさせないようにすることです。 実験結果から,本手法はモデル性能を実質的に損なうことなく,学習対象を効果的に満たすことが示唆された。
  論文  参考訳（メタデータ） (2024-02-03T05:14:56Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Knowledge Unlearning for Mitigating Privacy Risks in Language Models [31.322818016245087]
  言語モデルのプライバシーリスクを低減する代替手法として知識アンラーニングを提案する。 トークンシーケンスのターゲットに異種トレーニングの目的を単純に適用することは、それを忘れるのに効果的であることを示す。 抽出攻撃に脆弱なデータが先入観として知られているシナリオでは、アンラーニングがより強力な経験的プライバシ保証を与える可能性があることを示す。
  論文  参考訳（メタデータ） (2022-10-04T10:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。