論文の概要: Frame by Familiar Frame: Understanding Replication in Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.19593v2
• Date: Thu, 31 Oct 2024 02:10:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:39.058075
• Title: Frame by Familiar Frame: Understanding Replication in Video Diffusion Models
• Title（参考訳）: ファミリアフレームによるフレーム:ビデオ拡散モデルにおけるレプリケーションの理解
• Authors: Aimon Rahman, Malsha V. Perera, Vishal M. Patel,
• Abstract要約: ビデオ生成は、その高次元の性質、トレーニングデータの不足、そして関連する複雑な関係により、より大きな課題をもたらす。 さらに制約のあるデータセットで動作するビデオ拡散モデルは、トレーニングセットからサンプルを複製する傾向にある。 本稿では,ビデオ拡散モデルにおけるサンプル複製現象の系統的研究を行う。
• 参考スコア（独自算出の注目度）: 28.360705633967353
• License:
• Abstract: Building on the momentum of image generation diffusion models, there is an increasing interest in video-based diffusion models. However, video generation poses greater challenges due to its higher-dimensional nature, the scarcity of training data, and the complex spatiotemporal relationships involved. Image generation models, due to their extensive data requirements, have already strained computational resources to their limits. There have been instances of these models reproducing elements from the training samples, leading to concerns and even legal disputes over sample replication. Video diffusion models, which operate with even more constrained datasets and are tasked with generating both spatial and temporal content, may be more prone to replicating samples from their training sets. Compounding the issue, these models are often evaluated using metrics that inadvertently reward replication. In our paper, we present a systematic investigation into the phenomenon of sample replication in video diffusion models. We scrutinize various recent diffusion models for video synthesis, assessing their tendency to replicate spatial and temporal content in both unconditional and conditional generation scenarios. Our study identifies strategies that are less likely to lead to replication. Furthermore, we propose new evaluation strategies that take replication into account, offering a more accurate measure of a model's ability to generate the original content.
• Abstract（参考訳）: 画像生成拡散モデルの運動量に基づいて、ビデオベース拡散モデルへの関心が高まっている。 しかし、ビデオ生成は、その高次元の性質、トレーニングデータの不足、および複雑な時空間的関係により、より大きな課題を生んでいる。 画像生成モデルは、その広範なデータ要求のために、既に計算資源を限界まで歪ませている。 これらのモデルは、トレーニングサンプルから要素を再現する例があり、サンプル複製に関する懸念や法的論争を引き起こしている。 さらに制約のあるデータセットで動作し、空間的および時間的コンテンツの両方を生成するタスクを持つビデオ拡散モデルは、トレーニングセットからサンプルを複製する傾向にある。 問題を複雑にすると、これらのモデルはしばしば、必然的に複製に報いるメトリクスを使って評価される。 本稿では,ビデオ拡散モデルにおけるサンプル複製現象の系統的研究を行う。 本研究では,映像合成のための様々な拡散モデルについて検討し,空間的・時間的コンテンツを非条件・条件的両方のシナリオで再現する傾向を評価する。 我々の研究では、複製につながる可能性が低い戦略を特定します。 さらに,再現性を考慮に入れた新たな評価手法を提案し,モデルがオリジナルコンテンツを生成する能力をより正確に評価する。

関連論文リスト

• Ablation Based Counterfactuals [7.481286710933861]
  ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。 拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。 次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
  論文  参考訳（メタデータ） (2024-06-12T06:22:51Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Memory Triggers: Unveiling Memorization in Text-To-Image Generative Models through Word-Level Duplication [16.447035745151428]
  拡散ベースのモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。 これらのモデルはまた、正確なトレーニングサンプルを複製し、プライバシーリスクを装い、敵の攻撃を可能にする傾向があることを懸念している。 本稿では拡散モデルにおける推論中に複製を引き起こす2つの異なる重複と未探索の重複に焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-06T18:54:44Z)
• Continual Learning of Diffusion Models with Generative Distillation [34.52513912701778]
  拡散モデルは画像合成における最先端性能を達成する強力な生成モデルである。 本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T14:33:03Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
  拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。 本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。 これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
  論文  参考訳（メタデータ） (2023-02-22T18:48:46Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)
• Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [53.03978584040557]
  生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。 フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
  論文  参考訳（メタデータ） (2022-12-07T18:58:02Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。