論文の概要: Investigating Memorization in Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.21669v1
• Date: Tue, 29 Oct 2024 02:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:36.739547
• Title: Investigating Memorization in Video Diffusion Models
• Title（参考訳）: ビデオ拡散モデルにおける記憶の探索
• Authors: Chen Chen, Enhuai Liu, Daochang Liu, Mubarak Shah, Chang Xu,
• Abstract要約: 画像生成やビデオ生成に広く用いられている拡散モデルは、推論中にトレーニングデータを記憶し再生するリスクという、重大な制限に直面している。 まず,VDM(Content memorization and Motion memorization)の2種類の記憶を現実的に定義する。 次に、VDMにおけるコンテンツと動きの記憶を別々に評価するために特別に設計された新しい指標を導入する。
• 参考スコア（独自算出の注目度）: 58.70363256771246
• License:
• Abstract: Diffusion models, widely used for image and video generation, face a significant limitation: the risk of memorizing and reproducing training data during inference, potentially generating unauthorized copyrighted content. While prior research has focused on image diffusion models (IDMs), video diffusion models (VDMs) remain underexplored. To address this gap, we first formally define the two types of memorization in VDMs (content memorization and motion memorization) in a practical way that focuses on privacy preservation and applies to all generation types. We then introduce new metrics specifically designed to separately assess content and motion memorization in VDMs. Additionally, we curate a dataset of text prompts that are most prone to triggering memorization when used as conditioning in VDMs. By leveraging these prompts, we generate diverse videos from various open-source VDMs, successfully extracting numerous training videos from each tested model. Through the application of our proposed metrics, we systematically analyze memorization across various pretrained VDMs, including text-conditional and unconditional models, on a variety of datasets. Our comprehensive study reveals that memorization is widespread across all tested VDMs, indicating that VDMs can also memorize image training data in addition to video datasets. Finally, we propose efficient and effective detection strategies for both content and motion memorization, offering a foundational approach for improving privacy in VDMs.
• Abstract（参考訳）: 拡散モデルは画像生成やビデオ生成に広く使われており、推論中にトレーニングデータを記憶・再生する危険性があり、無許可の著作権コンテンツを生成する可能性がある。 従来の研究では、画像拡散モデル(IDM)に焦点が当てられていたが、ビデオ拡散モデル(VDM)は未検討のままである。 このギャップに対処するために、我々はまずVDM(Content memorization and Motion memorization)における2種類の記憶を、プライバシー保護に焦点をあて、すべての世代に適用される実用的な方法で正式に定義する。 次に、VDMにおけるコンテンツと動きの記憶を別々に評価するために特別に設計された新しい指標を導入する。 さらに,VDMのコンディショニングとして使用する場合,暗記を最も引き起こすようなテキストプロンプトのデータセットをキュレートする。 これらのプロンプトを活用することで、さまざまなオープンソースのVDMから多様なビデオを生成し、テストされた各モデルから多数のトレーニングビデオを取り出すことに成功した。 提案手法の適用により,テキスト条件モデルや非条件モデルなど,事前訓練された様々なVDMを対象とした記憶を,さまざまなデータセット上で体系的に解析する。 我々の総合的研究は、ビデオデータセットに加えて、VDMが画像トレーニングデータも記憶できることを示すため、すべてのテスト済みVDMに記憶が広がっていることを明らかにしている。 最後に,VDMのプライバシー向上のための基礎的アプローチとして,コンテンツと動作記憶の両方に対する効率的かつ効果的な検出戦略を提案する。

関連論文リスト

• On Learning Multi-Modal Forgery Representation for Diffusion Generated Video Detection [44.55891118519547]
  本稿では,拡散生成コンテンツを検出するためのMulti-Mod-al Detection(MM-Det)という革新的なアルゴリズムを提案する。 MM-Detは、Multi-Modal Forgery Representation(MMFR)を生成することで、LMM(Large Multi-Modal Models)の深い総合的能力を利用する MM-Detによるビデオフォサイシクス(DVF)の最先端性能の実現
  論文  参考訳（メタデータ） (2024-10-31T04:20:47Z)
• Extracting Training Data from Document-Based VQA Models [67.1470112451617]
  VLM(Vision-Language Models)は、文書ベースの視覚質問回答において顕著な進歩を遂げている(つまり、画像として提供される入力文書の内容に関する問い合わせに応答する)。 これらのモデルでは、関連する視覚情報が削除された場合でも、トレーニングサンプルに対する応答を記憶し、それらをリグルジタイズすることができる。 これには、トレーニングセットで繰り返し繰り返されるパーソナライズ可能な情報が含まれており、これらのモデルが機密情報を漏らし、したがってプライバシーリスクを引き起こす可能性があることを示している。
  論文  参考訳（メタデータ） (2024-07-11T17:44:41Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• Déjà Vu Memorization in Vision-Language Models [39.51189095703773]
  視覚言語モデル(VLM)における記憶量測定のための新しい手法を提案する。 モデルでは、相関や画像キャプションから推測できる範囲を超えて、トレーニング画像中の個々のオブジェクトに関する情報が実際に保持されていることを示す。 サンプルおよび集団レベルでのd'eja vuメモリ化を評価し,最大5000万枚の画像キャプチャーペアで訓練したOpenCLIPにとって重要であることを示す。
  論文  参考訳（メタデータ） (2024-02-03T09:55:35Z)
• Just a Glimpse: Rethinking Temporal Information for Video Continual Learning [58.7097258722291]
  個別フレームと単一フレームに基づく効果的なビデオ連続学習のための新しい再生機構を提案する。 極端な記憶の制約の下では、ビデオの多様性は時間的情報よりも重要な役割を果たす。 提案手法は最先端性能を実現し,従来の最先端性能を最大21.49%向上させる。
  論文  参考訳（メタデータ） (2023-05-28T19:14:25Z)
• Vision-Language Models for Vision Tasks: A Survey [62.543250338410836]
  視覚言語モデル(VLM)は、Webスケールの画像テキストペアからリッチな視覚言語相関を学習する。 本稿では,視覚認知タスクにおける視覚言語モデルの体系的レビューを行う。
  論文  参考訳（メタデータ） (2023-04-03T02:17:05Z)
• Adversarial Memory Networks for Action Prediction [95.09968654228372]
  アクション予測は、今後の人間の行動を部分的に観察されたビデオで推測することを目的としている。 本稿では,ある部分的ビデオクエリに"フルビデオ"機能コンディショニングを生成するために,AMemNet(Adversarial memory network)を提案する。
  論文  参考訳（メタデータ） (2021-12-18T08:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。