論文の概要: Auditing Data Provenance in Real-world Text-to-Image Diffusion Models for Privacy and Copyright Protection

• arxiv url: http://arxiv.org/abs/2506.11434v1
• Date: Fri, 13 Jun 2025 03:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.64156
• Title: Auditing Data Provenance in Real-world Text-to-Image Diffusion Models for Privacy and Copyright Protection
• Title（参考訳）: プライバシと著作権保護のための実世界のテキスト・画像拡散モデルにおけるデータ保護の検証
• Authors: Jie Zhu, Leye Wang,
• Abstract要約: 我々はFSCA(Feature Semantic Consistency-based Auditing)と呼ばれる完全にブラックボックスの監査フレームワークを提案する。 テキストと画像の拡散モデル内の2種類のセマンティック接続を監査に利用し、内部知識へのアクセスを不要にする。 FSCAは、様々なメトリクスと異なるデータ分布にまたがる、以前のベースラインアプローチを超越していることを示す。
• 参考スコア（独自算出の注目度）: 10.937687649898452
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Text-to-image diffusion model since its propose has significantly influenced the content creation due to its impressive generation capability. However, this capability depends on large-scale text-image datasets gathered from web platforms like social media, posing substantial challenges in copyright compliance and personal privacy leakage. Though there are some efforts devoted to explore approaches for auditing data provenance in text-to-image diffusion models, existing work has unrealistic assumptions that can obtain model internal knowledge, e.g., intermediate results, or the evaluation is not reliable. To fill this gap, we propose a completely black-box auditing framework called Feature Semantic Consistency-based Auditing (FSCA). It utilizes two types of semantic connections within the text-to-image diffusion model for auditing, eliminating the need for access to internal knowledge. To demonstrate the effectiveness of our FSCA framework, we perform extensive experiments on LAION-mi dataset and COCO dataset, and compare with eight state-of-the-art baseline approaches. The results show that FSCA surpasses previous baseline approaches across various metrics and different data distributions, showcasing the superiority of our FSCA. Moreover, we introduce a recall balance strategy and a threshold adjustment strategy, which collectively allows FSCA to reach up a user-level accuracy of 90% in a real-world auditing scenario with only 10 samples/user, highlighting its strong auditing potential in real-world applications. Our code is made available at https://github.com/JiePKU/FSCA.
• Abstract（参考訳）: テキストから画像への拡散モデルの提案は、その印象的な生成能力によってコンテンツ生成に大きな影響を与えている。 しかし、この機能は、ソーシャルメディアのようなWebプラットフォームから収集された大規模なテキスト画像データセットに依存しており、著作権の遵守と個人のプライバシー漏洩において重大な課題を提起している。 テキストから画像への拡散モデルにおけるデータ証明を監査するためのアプローチを探求する試みはいくつかあるが、既存の研究は非現実的な仮定を持ち、モデルの内部知識(例えば、中間結果)を得ることができる。 このギャップを埋めるために、我々はFeature Semantic Consistency-based Auditing (FSCA)と呼ばれる完全にブラックボックスの監査フレームワークを提案する。 テキストと画像の拡散モデル内の2種類のセマンティック接続を監査に利用し、内部知識へのアクセスを不要にする。 FSCAフレームワークの有効性を示すため,LAION-miデータセットとCOCOデータセットの広範な実験を行い,最先端の8つのベースラインアプローチと比較した。 その結果、FSCAは様々な指標やデータ分布にまたがる従来のベースラインアプローチよりも優れており、FSCAの優位性を示している。 さらに,FSCAが実世界の監査シナリオにおいて,ユーザレベルで90%の精度を達成するためのリコールバランス戦略としきい値調整戦略を導入し,実世界のアプリケーションにおけるその強力な監査可能性を強調した。 私たちのコードはhttps://github.com/JiePKU/FSCA.orgで公開されています。

関連論文リスト

• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Trust And Balance: Few Trusted Samples Pseudo-Labeling and Temperature Scaled Loss for Effective Source-Free Unsupervised Domain Adaptation [16.5799094981322]
  Few Trusted Samples Pseudo-labeling (FTSP) and Temperature Scaled Adaptive Loss (TSAL)を紹介する。 FTSPは、ターゲットデータからの信頼されたサンプルの限られたサブセットを使用して、ドメイン全体の擬似ラベルを推論する分類器を構築する。 TSALは、ユニークな双対温度スケジューリング、漸近的なバランスの多様性、識別性、擬似ラベルの組み込みで設計されている。
  論文  参考訳（メタデータ） (2024-09-01T15:09:14Z)
• Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification [0.13108652488669734]
  従来のディープラーニングモデルは、その透明性とデータ変更に適応する能力を制限する知識を暗黙的にエンコードする。 モデル重みとは無関係に、基礎となるトレーニングデータの埋め込みを格納することで、この制限に対処する。 提案手法では,k$-Nearest Neighbor(k$-NN)分類器を視覚ベース基盤モデルに統合し,自然画像に基づいて事前学習を行う。
  論文  参考訳（メタデータ） (2024-02-19T20:08:13Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
  フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。 本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T18:23:49Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。