論文の概要: One Framework for All: Cross-Modal Membership Inference for Generative Models

• arxiv url: http://arxiv.org/abs/2607.04339v1
• Date: Sun, 05 Jul 2026 14:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.904456
• Title: One Framework for All: Cross-Modal Membership Inference for Generative Models
• Title（参考訳）: すべてのためのフレームワーク: 生成モデルのためのクロスモーダルなメンバーシップ推論
• Abstract要約: 本稿では,テキスト・トゥ・テキスト・トゥ・イメージ,画像・トゥ・テキスト・モダリティにまたがる統一型メンバシップ推論フレームワークについて,初めて包括的な研究を行った。 生成モデルの出力分布はトレーニングデータ分布を近似することができる。
• 参考スコア（独自算出の注目度）: 16.609636193065377
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large generative models across text-to-text, text-to-image, and image-to-text modalities have been shown to pose significant privacy risks. One fundamental threat is membership inference attacks (MIA), which aim to determine whether a given data point was used in a model's training set. Although prior work has investigated MIAs against these three classes of generative models, existing approaches treat them in isolation and are not cross-applicable, thereby limiting their real-world utility. To address this limitation, we present the first comprehensive study of a unified membership inference framework that applies across text-to-text, text-to-image, and image-to-text modalities. Our approach is grounded in a key modality-agnostic observation: the output distribution of a generative model can approximate its training data distribution. Leveraging this property, we model the distributions of model-generated outputs and auxiliary non-member samples in a shared embedding space, and perform membership inference via likelihood ratio testing. We conduct extensive experiments in a strict black-box setting under both partial-knowledge and zero-knowledge threat models, and evaluate membership inference against both fine-tuning and pre-training data. Experimental results demonstrate our approach's superior performance in comparison to existing state-of-the-art methods, which are typically optimized for a single model class.
• Abstract（参考訳）: テキスト・ツー・テキスト・ツー・イメージ、画像・ツー・テキスト・モダリティにわたる大規模な生成モデルは、重大なプライバシー上のリスクをもたらすことが示されている。 1つの基本的な脅威は、モデルのトレーニングセットで与えられたデータポイントが使用されているかどうかを判断することを目的とした、メンバシップ推論攻撃(MIA)である。 従来の研究は、これらの3種類の生成モデルに対してMIAを調査してきたが、既存のアプローチはそれらを分離して扱うことができず、現実の実用性を制限している。 この制限に対処するために、テキスト・トゥ・テキスト・トゥ・イメージ、画像・トゥ・テキスト・モダリティにまたがる統一的なメンバシップ推論フレームワークについて、初めて包括的な研究を行う。 生成モデルの出力分布はトレーニングデータ分布を近似することができる。 この特性を活用することで、モデル生成出力と補助非メンバーサンプルの分布を共有埋め込み空間でモデル化し、確率比検定により会員推定を行う。 我々は、部分知識とゼロ知識の両方の脅威モデルの下で厳密なブラックボックス設定で広範な実験を行い、微調整データと事前学習データの両方に対する会員推定を評価する。 実験の結果,従来のモデルクラスに最適化された手法と比較して,提案手法の優れた性能を示すことができた。

関連論文リスト

• Black-box Membership Inference Attacks on the Pre-training Data of Image-generation Models [23.57577038946099]
  メンバーシップ推論攻撃(MIA)は、モデルトレーニング中に不正なデータの使用を識別するための有望なツールとして登場した。 拡散モデルにおける事前学習データを検出するために,クロスモーダルデータ機構を利用するブラックボックスメンバシップ推論攻撃フレームワーク(SD-MIA)を提案する。
  論文  参考訳（メタデータ） (2026-05-26T13:38:25Z)
• Characterizing Linear Alignment Across Language Models [10.66607150500579]
  言語モデルは、トレーニングの目的、アーキテクチャ、データモダリティの違いにもかかわらず、同様の表現を学ぶ傾向にある。 この機能は,セキュリティやプライバシ,競争上の制約によって直接的なデータやモデル共有が禁止されるような,新たな潜在的なアプリケーションドメインを解放するものだ。
  論文  参考訳（メタデータ） (2026-03-19T13:43:32Z)
• A Tale of Two Experts: Cooperative Learning for Source-Free Unsupervised Domain Adaptation [59.88864205383671]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、ソースデータにアクセスすることなく、ターゲットドメインにソース学習モデルを適用するという現実的な課題に対処する。 既存のSFUDA手法は、ソースモデルの予測のみを利用するか、大きなマルチモーダルモデルを微調整する。 本稿では、補完的な洞察と対象データの潜在構造を利用するためのエキスパート協調学習(EXCL)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T11:39:50Z)
• Relative Overfitting and Accept-Reject Framework [5.465098504510676]
  本稿では,性能向上のためにモデルをセグメント化する方法を管理するアンサンブルフレームワークを提案する。 NLPの領域におけるこのフレームワークのパターンを詳述し、コンピュータビジョン(CV)や科学のためのAIなど他の分野に簡単に説明します。
  論文  参考訳（メタデータ） (2025-05-12T17:36:14Z)
• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Hybrid diffusion models: combining supervised and generative pretraining for label-efficient fine-tuning of segmentation models [55.2480439325792]
  そこで本研究では,第1領域における画像のデノベーションとマスク予測を同時に行うことを目的とした,新しいプレテキストタスクを提案する。 提案手法を用いて事前学習したモデルを微調整すると、教師なしまたは教師なしの事前学習を用いて訓練した類似モデルの微調整よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-08-06T20:19:06Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Enhancing Text Generation with Cooperative Training [23.971227375706327]
  ほとんどの一般的な方法は、別々に生成的および差別的なモデルを訓練し、互いに変化に適応できなかった。 本稿では,識別器とジェネレータをクローズドループで協調的に学習するテキスト分野におけるテキスト自己一貫性学習フレームワークを提案する。 我々のフレームワークは、モード崩壊や非収束といったトレーニングの不安定さを軽減することができる。
  論文  参考訳（メタデータ） (2023-03-16T04:21:19Z)
• Learning Data Representations with Joint Diffusion Models [20.25147743706431]
  データの合成と分類を可能にする統合機械学習モデルは、多くの場合、それらのタスク間の不均一なパフォーマンスを提供するか、トレーニングが不安定である。 それらの目的間のパラメータ化を共用した安定な連立エンドツーエンドトレーニングを可能にする分類器を用いて,バニラ拡散モデルを拡張した。 結果として得られた共同拡散モデルは、評価された全てのベンチマークにおいて、分類と生成品質の両方の観点から、最近の最先端のハイブリッド手法よりも優れている。
  論文  参考訳（メタデータ） (2023-01-31T13:29:19Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• MACE: A Flexible Framework for Membership Privacy Estimation in Generative Models [14.290199072565162]
  生成モデルにおけるメンバシッププライバシ推定のための最初の公式なフレームワークを提案する。 これまでの作業と比較すると、私たちのフレームワークはより現実的で柔軟な仮定をします。
  論文  参考訳（メタデータ） (2020-09-11T23:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。