論文の概要: Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset

• arxiv url: http://arxiv.org/abs/2411.03554v2
• Date: Sun, 24 Nov 2024 05:08:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:15:13.008538
• Title: Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset
• Title（参考訳）: ファシリティー・アイデンティティ・データセットを用いた視覚言語モデルのアンラーニングのベンチマーク
• Authors: Yingzi Ma, Jiongxiao Wang, Fei Wang, Siyuan Ma, Jiazhao Li, Xiujun Li, Furong Huang, Lichao Sun, Bo Li, Yejin Choi, Muhao Chen, Chaowei Xiao,
• Abstract要約: 我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 94.13848736705575
• License:
• Abstract: Machine unlearning has emerged as an effective strategy for forgetting specific information in the training data. However, with the increasing integration of visual data, privacy concerns in Vision Language Models (VLMs) remain underexplored. To address this, we introduce Facial Identity Unlearning Benchmark (FIUBench), a novel VLM unlearning benchmark designed to robustly evaluate the effectiveness of unlearning algorithms under the Right to be Forgotten setting. Specifically, we formulate the VLM unlearning task via constructing the Fictitious Facial Identity VQA dataset and apply a two-stage evaluation pipeline that is designed to precisely control the sources of information and their exposure levels. In terms of evaluation, since VLM supports various forms of ways to ask questions with the same semantic meaning, we also provide robust evaluation metrics including membership inference attacks and carefully designed adversarial privacy attacks to evaluate the performance of algorithms. Through the evaluation of four baseline VLM unlearning algorithms within FIUBench, we find that all methods remain limited in their unlearning performance, with significant trade-offs between model utility and forget quality. Furthermore, our findings also highlight the importance of privacy attacks for robust evaluations. We hope FIUBench will drive progress in developing more effective VLM unlearning algorithms.
• Abstract（参考訳）: 機械学習は、トレーニングデータの特定の情報を忘れるための効果的な戦略として登場した。 しかし、視覚データの統合が進むにつれて、視覚言語モデル(VLM)のプライバシーに関する懸念は未解決のままである。 この問題に対処するために、Facial Identity Unlearning Benchmark (FIUBench)という新しいVLMアンラーニングベンチマークを導入する。 具体的には、Factitious Facial Identity VQAデータセットを構築してVLMアンラーニングタスクを定式化し、情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用する。 評価面では、VLMは、同じ意味を持つ質問を行う様々な方法をサポートしているため、メンバーシップ推論攻撃や、アルゴリズムの性能を評価するために慎重に設計された敵プライバシ攻撃など、堅牢な評価指標も提供する。 FIUBench内での4つのベースラインVLMアンラーニングアルゴリズムの評価により、モデルユーティリティと品質のトレードオフが著しいため、すべての手法が未学習性能に制限されていることが判明した。 さらに、ロバストな評価のためのプライバシー攻撃の重要性も強調した。 FIUBenchがより効率的なVLMアンラーニングアルゴリズムの開発を進めることを願っている。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
  ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。 この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。 本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-07-01T00:20:26Z)
• Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
  言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。 本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。 POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-06-20T08:12:49Z)
• Adversarial Machine Unlearning [26.809123658470693]
  本稿では,機械学習モデルに対する特定のトレーニングデータの影響を取り除くことを目的とした,機械学習の課題に焦点を当てた。 伝統的に、未学習アルゴリズムの開発は、ある種のプライバシー脅威である会員推論攻撃(MIA)と並行して実行される。 未学習アルゴリズムの設計にMIAを統合するゲーム理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T20:07:22Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Towards Reliable Empirical Machine Unlearning Evaluation: A Game-Theoretic View [5.724350004671127]
  本研究では,非学習アルゴリズムとMIA敵とのゲームとして評価プロセスを形式化するゲーム理論フレームワークを提案する。 ゲームから誘導される評価基準は,既存の評価基準が満たせないという証明可能な保証を享受していることを示す。 この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
  論文  参考訳（メタデータ） (2024-04-17T17:20:27Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• Your Room is not Private: Gradient Inversion Attack on Reinforcement Learning [47.96266341738642]
  プライバシーは、ロボットが実質的な個人情報にアクセスすることによって、具体化されたAIの領域における重要な関心事として浮上する。 本稿では, 状態, 行動, 監視信号の再構成に勾配インバージョンを利用する, 値ベースアルゴリズムと勾配ベースアルゴリズムに対する攻撃を提案する。
  論文  参考訳（メタデータ） (2023-06-15T16:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。