論文の概要: Reverse Engineering of Generative Models: Inferring Model Hyperparameters from Generated Images

• arxiv url: http://arxiv.org/abs/2106.07873v3
• Date: Sun, 30 Jul 2023 00:48:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 01:23:58.888222
• Title: Reverse Engineering of Generative Models: Inferring Model Hyperparameters from Generated Images
• Title（参考訳）: 生成モデルのリバースエンジニアリング:生成画像からモデルハイパーパラメータを推定する
• Authors: Vishal Asnani, Xi Yin, Tal Hassner, Xiaoming Liu
• Abstract要約: State-of-the-art (SOTA) Generative Models (GM)は、人間が本物の写真と区別するのが難しい写真リアルな画像を合成することができる。 これらのモデルにより生成された画像からモデルハイパーパラメータを推論するために,GMのリバースエンジニアリングを提案する。 指紋推定はディープフェイク検出と画像属性に有効であることを示す。
• 参考スコア（独自算出の注目度）: 36.08924910193875
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: State-of-the-art (SOTA) Generative Models (GMs) can synthesize photo-realistic images that are hard for humans to distinguish from genuine photos. Identifying and understanding manipulated media are crucial to mitigate the social concerns on the potential misuse of GMs. We propose to perform reverse engineering of GMs to infer model hyperparameters from the images generated by these models. We define a novel problem, ``model parsing", as estimating GM network architectures and training loss functions by examining their generated images -- a task seemingly impossible for human beings. To tackle this problem, we propose a framework with two components: a Fingerprint Estimation Network (FEN), which estimates a GM fingerprint from a generated image by training with four constraints to encourage the fingerprint to have desired properties, and a Parsing Network (PN), which predicts network architecture and loss functions from the estimated fingerprints. To evaluate our approach, we collect a fake image dataset with $100$K images generated by $116$ different GMs. Extensive experiments show encouraging results in parsing the hyperparameters of the unseen models. Finally, our fingerprint estimation can be leveraged for deepfake detection and image attribution, as we show by reporting SOTA results on both the deepfake detection (Celeb-DF) and image attribution benchmarks.
• Abstract（参考訳）: State-of-the-art (SOTA) Generative Models (GM)は、人間が本物の写真と区別するのが難しい写真リアルな画像を合成することができる。 操作されたメディアの同定と理解は、gmの潜在的な誤用に対する社会的懸念を軽減するために不可欠である。 これらのモデルにより生成された画像からモデルハイパーパラメータを推論するために,GMのリバースエンジニアリングを行う。 我々は、gmネットワークアーキテクチャを推定し、生成された画像を調べることで損失関数をトレーニングする『モデル解析』という新しい問題を定義している。 この問題に対処するために、生成画像からGM指紋を推定するFEN(Fingerprint Estimation Network)と、推定された指紋からネットワークアーキテクチャと損失関数を予測するPN(Parsing Network)の2つのコンポーネントからなるフレームワークを提案する。 当社のアプローチを評価するために、異なるgmが生成する1億ドルのイメージを含む偽の画像データセットを収集します。 広範な実験により、未発見のモデルのハイパーパラメータ解析の結果が奨励されている。 最後に,deepfake detection (celeb-df) と image attribution benchmarks の両方で sota 結果を報告することにより,deepfake detection と image attribution に指紋推定を活用できることを示した。

関連論文リスト

• Zero-Shot Detection of AI-Generated Images [54.01282123570917]
  AI生成画像を検出するゼロショットエントロピー検出器(ZED)を提案する。 機械によるテキスト検出の最近の研究に触発された私たちのアイデアは、分析対象の画像が実際の画像のモデルと比較してどれだけ驚くかを測定することである。 ZEDは精度の点でSoTAよりも平均3%以上改善されている。
  論文  参考訳（メタデータ） (2024-09-24T08:46:13Z)
• Robust CLIP-Based Detector for Exposing Diffusion Model-Generated Images [13.089550724738436]
  拡散モデル(DM)は画像生成に革命をもたらし、様々な分野にまたがる高品質な画像を生成する。 超現実的画像を作成する能力は、現実的コンテンツと合成的コンテンツを区別する上で大きな課題となる。 この研究は、CLIPモデルによって抽出された画像とテキストの特徴をMLP(Multilayer Perceptron)分類器と統合する堅牢な検出フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-04-19T14:30:41Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• Robust Retraining-free GAN Fingerprinting via Personalized Normalization [21.63902009635896]
  提案手法は,ParamGen Netsの入力を変更するだけで,異なる指紋をGAN内に埋め込むことができる。 モデルレベルの攻撃と画像レベルの攻撃の両方に対するロバスト性の観点から提案手法の性能は,最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2023-11-09T16:09:12Z)
• Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
  我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。 データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
  論文  参考訳（メタデータ） (2023-09-02T13:32:14Z)
• WOUAF: Weight Modulation for User Attribution and Fingerprinting in Text-to-Image Diffusion Models [32.29120988096214]
  本稿では,生成画像に責任を負うモデルフィンガープリントの新たなアプローチを提案する。 提案手法は,ユーザ固有のデジタル指紋に基づいて生成モデルを修正し,ユーザへ遡ることができるコンテンツにユニークな識別子を印字する。
  論文  参考訳（メタデータ） (2023-06-07T19:44:14Z)
• Comparative analysis of segmentation and generative models for fingerprint retrieval task [0.0]
  指紋は、指が汚れたり、濡れたり、怪我したり、センサーが故障したりすると、品質が低下する。 本稿では,ジェネレーティブ(GAN)とモデルを用いた深層学習手法を提案する。 本研究は, GANネットワークよりも, u-net モデルの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-13T17:21:14Z)
• On the Robustness of Quality Measures for GANs [136.18799984346248]
  本研究は、インセプションスコア(IS)やFr'echet Inception Distance(FID)のような生成モデルの品質測定の堅牢性を評価する。 このような測度は、加算画素摂動によっても操作可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T06:43:09Z)
• Self-supervised GAN Detector [10.963740942220168]
  生成モデルは 不正や 破壊 偽ニュースなど 悪意のある目的で悪用される トレーニング設定外の未確認画像を識別する新しいフレームワークを提案する。 提案手法は,GAN画像の高品質な人工指紋を再構成する人工指紋生成装置から構成する。
  論文  参考訳（メタデータ） (2021-11-12T06:19:04Z)
• Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data [64.65952078807086]
  光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。 しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。 我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
  論文  参考訳（メタデータ） (2020-07-16T16:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。