論文の概要: Mitigate Replication and Copying in Diffusion Models with Generalized Caption and Dual Fusion Enhancement

• arxiv url: http://arxiv.org/abs/2309.07254v1
• Date: Wed, 13 Sep 2023 18:43:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 17:10:14.516716
• Title: Mitigate Replication and Copying in Diffusion Models with Generalized Caption and Dual Fusion Enhancement
• Title（参考訳）: 一般化キャプションとデュアルフュージョン強化を伴う拡散モデルにおける緩和レプリケーションとコピー
• Authors: Chenghao Li, Dake Chen, Yuke Zhang, Peter A. Beerel
• Abstract要約: 拡散モデルは高品質な画像を生成するが、トレーニングデータを複製する傾向はプライバシーの懸念を引き起こす。 本稿では,キャプションの一般性を測定し,大言語モデル(LLM)を用いてトレーニングキャプションを一般化する一般化スコアを提案する。 拡散モデルの複製を緩和する新しい二重核融合拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 7.9911486976035215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While diffusion models demonstrate a remarkable capability for generating high-quality images, their tendency to `replicate' training data raises privacy concerns. Although recent research suggests that this replication may stem from the insufficient generalization of training data captions and duplication of training images, effective mitigation strategies remain elusive. To address this gap, our paper first introduces a generality score that measures the caption generality and employ large language model (LLM) to generalize training captions. Subsequently, we leverage generalized captions and propose a novel dual fusion enhancement approach to mitigate the replication of diffusion models. Our empirical results demonstrate that our proposed methods can significantly reduce replication by 43.5% compared to the original diffusion model while maintaining the diversity and quality of generations.
• Abstract（参考訳）: 拡散モデルは高品質な画像を生成する素晴らしい能力を示しているが、トレーニングデータを‘複製’する傾向はプライバシの懸念を生じさせる。 最近の研究では、この複製は訓練用データキャプションの一般化や訓練用画像の重複に起因する可能性があるが、効果的な緩和戦略はいまだに解明されていない。 このギャップに対処するため,本稿では,まずキャプションの一般性を測定し,大言語モデル(LLM)を用いてトレーニングキャプションの一般化を行う。 その後,一般化キャプションを活用し,拡散モデルの複製を緩和する新しい二重融合拡張手法を提案する。 実験により,提案手法は,世代間の多様性と品質を維持しつつ,元の拡散モデルと比較して43.5%の再現性を著しく低減できることを示した。

関連論文リスト

• Gradient Inversion of Federated Diffusion Models [4.1355611383748005]
  拡散モデルは、非常に高解像度の画像データを生成する欠陥生成モデルになりつつある。 本稿では,勾配反転攻撃のプライバシーリスクについて検討する。 本稿では,未知データの最適化をコーディネートする三重最適化GIDM+を提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:00:03Z)
• Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy [36.156856772794065]
  テキスト・画像拡散モデルにおける条件付きオーバーフィッティング現象を提案する。 提案手法は, 各種データおよびデータセットのスケールにおいて, 従来手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-05-23T17:09:51Z)
• Text Diffusion with Reinforced Conditioning [92.17397504834825]
  本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。 そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:24:02Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Memory Triggers: Unveiling Memorization in Text-To-Image Generative Models through Word-Level Duplication [16.447035745151428]
  拡散ベースのモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。 これらのモデルはまた、正確なトレーニングサンプルを複製し、プライバシーリスクを装い、敵の攻撃を可能にする傾向があることを懸念している。 本稿では拡散モデルにおける推論中に複製を引き起こす2つの異なる重複と未探索の重複に焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-06T18:54:44Z)
• Prompt-Based Exemplar Super-Compression and Regeneration for Class-Incremental Learning [21.136513495039242]
  PESCRは,その量を大幅に増加させ,模範者の多様性を高める新しいアプローチである。 画像はビジュアルとテキストのプロンプトに圧縮され、元の画像の代わりに保存される。 その後の段階では、拡散モデルにより様々な例が再生される。
  論文  参考訳（メタデータ） (2023-11-30T05:59:31Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
  現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。 本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T07:22:51Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。