論文の概要: Are CLIP features all you need for Universal Synthetic Image Origin Attribution?
- arxiv url: http://arxiv.org/abs/2408.09153v1
- Date: Sat, 17 Aug 2024 09:54:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 22:01:27.450608
- Title: Are CLIP features all you need for Universal Synthetic Image Origin Attribution?
- Title（参考訳）: CLIPは、Universal Synthetic Image Origin Attributionに必要な機能か?
- Authors: Dario Cioni, Christos Tzelepis, Lorenzo Seidenari, Ioannis Patras,
- Abstract要約: 本研究では,大規模な事前学習基盤モデルの特徴を取り入れたフレームワークを提案し,合成画像のオープンセット起点属性を実現する。
我々は,低データ体制においても,本手法が顕著な帰属性能をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 13.96698277726253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The steady improvement of Diffusion Models for visual synthesis has given rise to many new and interesting use cases of synthetic images but also has raised concerns about their potential abuse, which poses significant societal threats. To address this, fake images need to be detected and attributed to their source model, and given the frequent release of new generators, realistic applications need to consider an Open-Set scenario where some models are unseen at training time. Existing forensic techniques are either limited to Closed-Set settings or to GAN-generated images, relying on fragile frequency-based "fingerprint" features. By contrast, we propose a simple yet effective framework that incorporates features from large pre-trained foundation models to perform Open-Set origin attribution of synthetic images produced by various generative models, including Diffusion Models. We show that our method leads to remarkable attribution performance, even in the low-data regime, exceeding the performance of existing methods and generalizes better on images obtained from a diverse set of architectures. We make the code publicly available at: https://github.com/ciodar/UniversalAttribution.
- Abstract（参考訳）: 視覚合成のための拡散モデルの着実に改善は、合成画像の新しい興味深いユースケースを数多く生み出したが、その潜在的な悪用を懸念し、社会的な脅威を生じさせている。
これに対処するためには、偽のイメージをソースモデルによって検出し、属性付けする必要がある。また、新しいジェネレータの頻繁なリリースを考えると、実際のアプリケーションは、トレーニング時に一部のモデルが見つからないOpen-Setシナリオを考える必要がある。
既存の法医学的手法はクローズドセット設定やGAN生成画像に限られており、脆弱な周波数ベースの"フィンガープリント"機能に依存している。
対照的に, 拡散モデルを含む様々な生成モデルによって生成される合成画像のオープンセット起点属性を実現するために, 大規模な事前学習基盤モデルの特徴を取り入れた, 単純かつ効果的なフレームワークを提案する。
提案手法は,低データ状態においても,既存手法の性能を超越し,多様なアーキテクチャの集合から得られる画像の一般化に寄与することを示す。
コードは、https://github.com/ciodar/UniversalAttribution.comで公開しています。
関連論文リスト
- BOSC: A Backdoor-based Framework for Open Set Synthetic Image Attribution [22.81354665006496]
合成画像属性は、生成モデルによって生成された画像の起源をトレースする問題に対処する。
本稿では,バックドアアタックの概念に依存する,BOSCと呼ばれる合成画像のオープンセット属性の枠組みを提案する。
論文 参考訳（メタデータ） (2024-05-19T09:17:43Z) - Diversified in-domain synthesis with efficient fine-tuning for few-shot
classification [64.86872227580866]
画像分類は,クラスごとのラベル付き例の小さなセットのみを用いて,画像分類器の学習を目的としている。
合成データを用いた数ショット学習における一般化問題に対処する新しいアプローチである DisEF を提案する。
提案手法を10種類のベンチマークで検証し,ベースラインを一貫して上回り,数ショット分類のための新しい最先端の手法を確立した。
論文 参考訳（メタデータ） (2023-12-05T17:18:09Z) - Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with
Synthetic Images [37.29348016920314]
そこで本研究では,既製の生成モデルを利用して合成訓練画像を生成する新しいフレームワークを提案する。
クラス名の曖昧さ、ナイーブなプロンプトの多様性の欠如、ドメインシフトに対処する。
我々のフレームワークは、より合成データによる認識モデルの性能を一貫して向上させる。
論文 参考訳（メタデータ） (2023-12-04T18:35:27Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - Improving Few-shot Image Generation by Structural Discrimination and
Textural Modulation [10.389698647141296]
画像生成の目的は、このカテゴリからいくつかの画像が与えられた場合、あるカテゴリに対して可塑性で多様な画像を生成することである。
既存のアプローチでは、異なる画像をグローバルに補間するか、事前に定義された係数で局所表現を融合する。
本稿では,内部局所表現に外部意味信号を注入する新しいメカニズムを提案する。
論文 参考訳（メタデータ） (2023-08-30T16:10:21Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Progressive Open Space Expansion for Open-Set Model Attribution [19.985618498466042]
我々は,OSMA(Open-Set Model Attribution)という課題に焦点をあて,既知のモデルに画像を同時に属性付けし,未知のモデルからそれらを識別する。
既存のオープンセット認識(OSR)タスクと比較して、OSMAは既知のモデルと未知のモデルとの区別が視覚的に知覚できないトレースに限られているため、より難しい。
本稿では, 閉集合と同一のセマンティクスを維持しつつ, 異なる認識不能なトレースを埋め込んだオープンセットサンプルをシミュレートした, プログレッシブオープンスペース拡張(POSE)ソリューションを提案する。
論文 参考訳（メタデータ） (2023-03-13T05:53:11Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳（メタデータ） (2022-11-22T18:59:50Z) - DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。
我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
論文 参考訳（メタデータ） (2022-06-01T10:39:12Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳（メタデータ） (2021-12-08T21:39:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。