論文の概要: Membership Inference for Contrastive Pre-training Models with Text-only PII Queries

• arxiv url: http://arxiv.org/abs/2603.14222v1
• Date: Sun, 15 Mar 2026 04:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.682435
• Title: Membership Inference for Contrastive Pre-training Models with Text-only PII Queries
• Title（参考訳）: テキストのみのPIIクエリを用いたコントラスト事前学習モデルの会員推論
• Authors: Ruoxi Cheng, Yizhong Ding, Hongyi Zhang, Yiyan Huang,
• Abstract要約: UMID(Unimodal Membership Inference Detector)は、テキストのみの監査フレームワークである。 多様なCLIPおよびCLAPアーキテクチャによる実験により、UMIDは以前のMIAよりも有効性と効率を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 8.524434324715857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive pretraining models such as CLIP and CLAP underpin many vision-language and audio-language systems, yet their reliance on web-scale data raises growing concerns about memorizing Personally Identifiable Information (PII). Auditing such models via membership inference is challenging in practice: shadow-model MIAs are computationally prohibitive for large multimodal backbones, and existing multimodal attacks typically require querying the target with paired biometric inputs, thereby directly exposing sensitive biometric information to the target model. We propose Unimodal Membership Inference Detector (UMID), a text-only auditing framework that performs text-guided cross-modal latent inversion and extracts two complementary signals, similarity (alignment to the queried text) and variability (consistency across randomized inversions). UMID compares these statistics to a lightweight non-member reference constructed from synthetic gibberish and makes decisions via an ensemble of unsupervised anomaly detectors. Comprehensive experiments across diverse CLIP and CLAP architectures demonstrate that UMID significantly improves the effectiveness and efficiency over prior MIAs, delivering strong detection performance with sub-second auditing cost while complying with realistic privacy constraints.
• Abstract（参考訳）: CLIPやCLAPのような対照的な事前学習モデルは、多くの視覚言語やオーディオ言語システムの基盤となっているが、Webスケールデータに依存しているため、PII(Personally Identible Information)の記憶に関する懸念が高まっている。 シャドウモデルMIAは、大きなマルチモーダルバックボーンに対して計算的に禁止されており、既存のマルチモーダル攻撃は通常、ペアのバイオメトリック入力でターゲットをクエリする必要がある。 テキスト誘導型クロスモーダル潜時インバージョンを実行するテキストオンリー監査フレームワークであるUMID(Unimodal Membership Inference Detector)を提案し、類似性(クエリテキストへの適応)と可変性(ランダム化インバージョン間の整合性)の2つの相補的信号を抽出する。 UMIDはこれらの統計データを、合成ギブベリで構築された軽量な非メンバー参照と比較し、教師なしの異常検知器のアンサンブルを介して決定する。 多様なCLIPおよびCLAPアーキテクチャにわたる総合的な実験により、UMIDは以前のMIAよりも有効性と効率を著しく向上し、現実的なプライバシー制約を満たしつつ、秒以下の監査コストで強力な検出性能を提供することを示した。

関連論文リスト

• UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
  統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。 マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
  論文  参考訳（メタデータ） (2026-02-12T18:59:49Z)
• What Hard Tokens Reveal: Exploiting Low-confidence Tokens for Membership Inference Attacks against Large Language Models [2.621142288968429]
  メンバーシップ推論攻撃(MIA)は、特定のデータサンプルがモデルトレーニング/ファインチューニングデータセットに含まれるかどうかを判断しようとする。 低信頼(ハード)トークンに対するトークンレベルの確率をキャプチャする新しいメンバシップ推論手法を提案する。 ドメイン固有の医療データセットと汎用ベンチマークの両方の実験では、HT-MIAが7つの最先端MIAベースラインを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-01-27T22:31:10Z)
• Lost in Modality: Evaluating the Effectiveness of Text-Based Membership Inference Attacks on Large Multimodal Models [3.9448289587779404]
  大規模言語モデル(LLM)におけるデータ露出の評価手法として,ログベースメンバシップ推論攻撃(MIA)が広く採用されている。 テキストベースのMIA手法をマルチモーダル設定に拡張する最初の包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-12-02T14:11:51Z)
• MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems [31.53306157650065]
  マルチモーダル検索拡張生成(RAG)システムは、クロスモーダル知識を統合することで、大きな視覚言語モデルを強化する。 これらの知識データベースには、プライバシー保護を必要とする機密情報が含まれている可能性がある。 MrMはマルチモーダルRAGシステムを対象とした最初のブラックボックスMIAフレームワークである。
  論文  参考訳（メタデータ） (2025-06-09T03:48:50Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
  RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。 本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:33:11Z)
• Multi-Attribute Multi-Grained Adaptation of Pre-Trained Language Models for Text Understanding from Bayesian Perspective [14.638210719369523]
  本研究では,非IID情報により言語モデル(PLM)が向上し,ベイズの観点からの性能改善が達成されるという仮定を再考する。 PLM適応のための多属性多粒度フレームワーク(M2A)を提案する。 テキスト理解データセットを用いてM2Aを評価し,主に暗黙的に非IIDであり,PLMが大規模である場合に,その優れた性能を示す。
  論文  参考訳（メタデータ） (2025-03-08T06:17:07Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。