論文の概要: Uncovering Hidden Subspaces in Video Diffusion Models Using Re-Identification

• arxiv url: http://arxiv.org/abs/2411.04956v1
• Date: Thu, 07 Nov 2024 18:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:58.792911
• Title: Uncovering Hidden Subspaces in Video Diffusion Models Using Re-Identification
• Title（参考訳）: 再同定によるビデオ拡散モデルにおける隠れ部分空間の発見
• Authors: Mischa Dombrowski, Hadrien Reynaud, Bernhard Kainz,
• Abstract要約: 我々は、特定の下流タスクのための合成データに基づいてトレーニングされたモデルが、実際のデータでトレーニングされたモデルよりも悪い性能を示すことを示した。 この違いは、トレーニングビデオのサブスペースであるサンプリングスペースが原因である可能性がある。 本稿では,潜在空間におけるプライバシ保護モデルのトレーニングが,計算効率が向上し,より一般化できることを最初に示す。
• 参考スコア（独自算出の注目度）: 6.408114351192012
• License:
• Abstract: Latent Video Diffusion Models can easily deceive casual observers and domain experts alike thanks to the produced image quality and temporal consistency. Beyond entertainment, this creates opportunities around safe data sharing of fully synthetic datasets, which are crucial in healthcare, as well as other domains relying on sensitive personal information. However, privacy concerns with this approach have not fully been addressed yet, and models trained on synthetic data for specific downstream tasks still perform worse than those trained on real data. This discrepancy may be partly due to the sampling space being a subspace of the training videos, effectively reducing the training data size for downstream models. Additionally, the reduced temporal consistency when generating long videos could be a contributing factor. In this paper, we first show that training privacy-preserving models in latent space is computationally more efficient and generalize better. Furthermore, to investigate downstream degradation factors, we propose to use a re-identification model, previously employed as a privacy preservation filter. We demonstrate that it is sufficient to train this model on the latent space of the video generator. Subsequently, we use these models to evaluate the subspace covered by synthetic video datasets and thus introduce a new way to measure the faithfulness of generative machine learning models. We focus on a specific application in healthcare echocardiography to illustrate the effectiveness of our novel methods. Our findings indicate that only up to 30.8% of the training videos are learned in latent video diffusion models, which could explain the lack of performance when training downstream tasks on synthetic data.
• Abstract（参考訳）: 遅延ビデオ拡散モデルは、生成した画質と時間的一貫性のおかげで、カジュアルなオブザーバやドメインの専門家を簡単に騙すことができる。 エンターテイメント以外にも、医療において重要な、完全に合成されたデータセットの安全なデータ共有や、機密性の高い個人情報に依存する他のドメインに関する機会が生まれる。 しかし、このアプローチに関するプライバシに関する懸念は、まだ完全には解決されておらず、特定の下流タスクのために合成データでトレーニングされたモデルは、実際のデータでトレーニングされたモデルよりも悪いパフォーマンスを保っている。 この違いは、トレーニングビデオのサブスペースであるサンプリングスペースが原因でもあり、下流モデルのトレーニングデータサイズを効果的に削減できる可能性がある。 さらに、長いビデオを生成する際の時間的一貫性の低下が寄与する要因となる可能性がある。 本稿では,潜在空間におけるプライバシ保護モデルのトレーニングが,計算効率が向上し,より一般化できることを最初に示す。 さらに、下流の劣化要因を調べるために、以前はプライバシー保護フィルタとして用いられていた再同定モデルを提案する。 ビデオジェネレータの潜在空間でこのモデルをトレーニングすることは十分であることを示す。 その後、これらのモデルを用いて、合成ビデオデータセットによってカバーされる部分空間を評価し、生成機械学習モデルの忠実度を測定する新しい方法を導入する。 医療用心エコー法における本手法の有効性を明らかにするための具体的な応用に着目する。 以上の結果から, 映像拡散モデルでは最大30.8%のトレーニングビデオが学習されており, 合成データを用いた下流タスクのトレーニングでは, パフォーマンスの欠如が説明できることがわかった。

関連論文リスト

• Towards Reliable Verification of Unauthorized Data Usage in Personalized Text-to-Image Diffusion Models [23.09033991200197]
  新しいパーソナライズ技術は、特定のテーマやスタイルのイメージを作成するために、事前訓練されたベースモデルをカスタマイズするために提案されている。 このような軽量なソリューションは、パーソナライズされたモデルが不正なデータからトレーニングされているかどうかに関して、新たな懸念を生じさせる。 我々は、ブラックボックスパーソナライズされたテキスト・ツー・イメージ拡散モデルにおいて、不正なデータ使用を積極的に追跡する新しい手法であるSIRENを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T12:29:23Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Privacy Distillation: Reducing Re-identification Risk of Multimodal Diffusion Models [11.659461421660613]
  プライバシ蒸留(Privacy Distillation)は、テキストから画像への生成モデルで、識別可能なデータに公開することなく、別のモデルを教えることができるフレームワークである。 本手法は,(1)実データ上で第1拡散モデルをトレーニングし,(2)本モデルを用いて合成データセットを生成し,(3)再構成された合成データに対して第2拡散モデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-06-02T07:44:00Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Extracting Training Data from Diffusion Models [77.11719063152027]
  拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。 生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。 さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-30T18:53:09Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Data Impressions: Mining Deep Models to Extract Samples for Data-free Applications [26.48630545028405]
  データインプレッションはトレーニングデータのプロキシとして機能し、さまざまなタスクを実現するために使用することができる。 いくつかのコンピュータビジョンタスクにおけるデータインプレッションの適用性を示す。
  論文  参考訳（メタデータ） (2021-01-15T11:37:29Z)
• A Plug-and-play Scheme to Adapt Image Saliency Deep Model for Video Data [54.198279280967185]
  本稿では,ビデオデータに対して予め訓練された画像の鮮度深度モデルを弱めに再学習する新しいプラグイン・アンド・プレイ方式を提案する。 本手法は,既訓練画像の深度モデルに適応して高品質な映像の鮮度検出を実現するのに有効である。
  論文  参考訳（メタデータ） (2020-08-02T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。