論文の概要: OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2510.16295v1
• Date: Sat, 18 Oct 2025 01:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.933193
• Title: OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Large Vision-Language Models
• Title（参考訳）: OpenLVLM-MIA: 大規模ビジョンランゲージモデルにおけるメンバーシップ推論攻撃の限界を明らかにする制御ベンチマーク
• Authors: Ryoto Miyamoto, Xin Fan, Fuyuko Kido, Tsuneo Matsumoto, Hayato Yamana,
• Abstract要約: OpenLVLM-MIAは,大規模視覚言語モデル(LVLM)に対するメンバシップ推論攻撃(MIA)の評価において,基本的な課題を強調した新しいベンチマークである。 我々は, メンバーと非メンバーの分布を慎重にバランスさせ, 3つの異なるトレーニング段階にまたがって, 基幹メンバーシップラベルを提供する, 6000枚の画像の制御ベンチマークを導入する。 OpenLVLM-MIAを用いた実験では、最先端MIA法の性能は不偏条件下でランダムな確率に収束した。
• 参考スコア（独自算出の注目度）: 8.88331104584743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: OpenLVLM-MIA is a new benchmark that highlights fundamental challenges in evaluating membership inference attacks (MIA) against large vision-language models (LVLMs). While prior work has reported high attack success rates, our analysis suggests that these results often arise from detecting distributional bias introduced during dataset construction rather than from identifying true membership status. To address this issue, we introduce a controlled benchmark of 6{,}000 images where the distributions of member and non-member samples are carefully balanced, and ground-truth membership labels are provided across three distinct training stages. Experiments using OpenLVLM-MIA demonstrated that the performance of state-of-the-art MIA methods converged to random chance under unbiased conditions. By offering a transparent and unbiased benchmark, OpenLVLM-MIA clarifies the current limitations of MIA research on LVLMs and provides a solid foundation for developing stronger privacy-preserving techniques.
• Abstract（参考訳）: OpenLVLM-MIAは,大規模視覚言語モデル(LVLM)に対するメンバシップ推論攻撃(MIA)を評価する上で,基本的な課題を強調する新しいベンチマークである。 先行研究では高い攻撃成功率が報告されているが,本研究では,データセット構築中に導入された分布バイアスを,真のメンバーシップ状態の特定からではなく,検出した結果が示唆されている。 この問題に対処するために,メンバと非メンバの分布を慎重にバランスさせ,3つの異なるトレーニング段階にまたがって基幹メンバーシップラベルを提供する,6{,}000画像の制御ベンチマークを導入する。 OpenLVLM-MIAを用いた実験では、最先端MIA法の性能は不偏条件下でランダムな確率に収束した。 透明でバイアスのないベンチマークを提供することで、OpenLVLM-MIAは、LVLMに関するMIA研究の現在の限界を明らかにし、より強力なプライバシー保護技術を開発するための確かな基盤を提供する。

関連論文リスト

• What Hard Tokens Reveal: Exploiting Low-confidence Tokens for Membership Inference Attacks against Large Language Models [2.621142288968429]
  メンバーシップ推論攻撃(MIA)は、特定のデータサンプルがモデルトレーニング/ファインチューニングデータセットに含まれるかどうかを判断しようとする。 低信頼(ハード)トークンに対するトークンレベルの確率をキャプチャする新しいメンバシップ推論手法を提案する。 ドメイン固有の医療データセットと汎用ベンチマークの両方の実験では、HT-MIAが7つの最先端MIAベースラインを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-01-27T22:31:10Z)
• Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models [3.9448289587779404]
  大規模言語モデル(LLM)におけるデータ露出の評価手法として,ログベースメンバシップ推論攻撃(MIA)が広く採用されている。 テキストベースのMIA手法をマルチモーダル設定に拡張する最初の包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-12-02T14:11:51Z)
• Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
  オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。 プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。 既存の検出手法が不整合性を示すか,不整合性を示すかを示す。 マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T18:59:52Z)
• EL-MIA: Quantifying Membership Inference Risks of Sensitive Entities in LLMs [10.566053894405902]
  我々は,LLMプライバシの文脈において,機密情報に着目した会員リスクのエンティティレベル発見という新たな課題を提案する。 既存のMIAの方法は、LLMトレーニングデータにすべてのプロンプトや文書が存在することを検知できるが、より細かい粒度でリスクを捕捉できない。 本研究では,MIA手法の評価のためのベンチマークデータセットを構築した。
  論文  参考訳（メタデータ） (2025-10-31T18:50:47Z)
• Revisiting Data Auditing in Large Vision-Language Models [21.684618564057885]
  VLM(Large Vision-Language Models)は、視覚エンコーダとLLMを統合して正確な視覚的グラウンドを行う。 VLMは通常、巨大なウェブスクラッド画像で訓練され、著作権侵害やプライバシー侵害に対する懸念が高まる。 トレーニングにサンプルを使用したかどうかを判断するメンバーシップ推論(MI)が重要な監査手法として登場した。
  論文  参考訳（メタデータ） (2025-04-25T13:38:23Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Membership Inference Attacks Against Vision-Language Models [24.47069867575367]
  VLM(Vision-Language Models)は、例外的なマルチモーダル理解とダイアログ機能を示す。 データ誤用や漏洩のリスクは、ほとんど解明されていない。 本研究では,背景知識の異なるレベルに合わせた4つのメンバーシップ推論手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T05:44:58Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
  LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。 固定だがランダム化されたレコードやモデルに依存する従来のMIAとは対照的に、これらの方法は主にトレーニングされ、ポストホックで収集されたデータセットでテストされる。 このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
  論文  参考訳（メタデータ） (2024-06-25T23:12:07Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  本稿ではReCaLL(Relative Conditional Log-Likelihood)を提案する。 実験の結果,非メンバープレフィックスの条件付きメンバーデータは,非メンバーデータと比較してログライクな傾向が著しく低下することがわかった。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。