論文の概要: Learning Robust Representations Of Generative Models Using Set-Based Artificial Fingerprints

• arxiv url: http://arxiv.org/abs/2206.02067v1
• Date: Sat, 4 Jun 2022 23:20:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-11 13:20:40.667805
• Title: Learning Robust Representations Of Generative Models Using Set-Based Artificial Fingerprints
• Title（参考訳）: セットベース人工指紋を用いた生成モデルのロバスト表現学習
• Authors: Hae Jin Song, Wael AbdAlmageed
• Abstract要約: 既存の手法はサンプル分布を通してモデル間の距離を近似する。 我々は、生成モデルの表現として、ユニークな痕跡(いわゆる「人工指紋」)を考える。 セットエンコーディングとコントラスト学習に基づく新しい学習手法を提案する。
• 参考スコア（独自算出の注目度）: 14.191129493685212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With recent progress in deep generative models, the problem of identifying synthetic data and comparing their underlying generative processes has become an imperative task for various reasons, including fighting visual misinformation and source attribution. Existing methods often approximate the distance between the models via their sample distributions. In this paper, we approach the problem of fingerprinting generative models by learning representations that encode the residual artifacts left by the generative models as unique signals that identify the source models. We consider these unique traces (a.k.a. "artificial fingerprints") as representations of generative models, and demonstrate their usefulness in both the discriminative task of source attribution and the unsupervised task of defining a similarity between the underlying models. We first extend the existing studies on fingerprints of GANs to four representative classes of generative models (VAEs, Flows, GANs and score-based models), and demonstrate their existence and attributability. We then improve the stability and attributability of the fingerprints by proposing a new learning method based on set-encoding and contrastive training. Our set-encoder, unlike existing methods that operate on individual images, learns fingerprints from a \textit{set} of images. We demonstrate improvements in the stability and attributability through comparisons to state-of-the-art fingerprint methods and ablation studies. Further, our method employs contrastive training to learn an implicit similarity between models. We discover latent families of generative models using this metric in a standard hierarchical clustering algorithm.
• Abstract（参考訳）: 近年の深層生成モデルの発展に伴い, 合成データの同定や生成過程の比較は, 視覚的誤報や情報源の帰属など, 様々な理由で必須課題となっている。 既存の手法はしばしばサンプル分布を通してモデル間の距離を近似する。 本稿では,生成モデルに残されている残余アーティファクトを,ソースモデルを特定するユニークな信号としてエンコードする表現を学習することにより,指紋生成モデルの問題にアプローチする。 これらのユニークな痕跡(すなわち「美術指紋」)を生成モデルの表現とみなし、ソース属性の識別的タスクと、基礎となるモデル間の類似性を定義する教師なしタスクの両方において有用性を示す。 まず,ganの指紋に関する既存の研究を4種類の生成モデル(vaes,flow,gans, score-based model)に拡張し,その存在と帰属性を示す。 次に,セットエンコーディングとコントラストトレーニングに基づく新しい学習手法を提案することにより,指紋の安定性と帰属性を向上させる。 我々のセットエンコーダは、個々の画像を操作する既存の方法とは異なり、画像の \textit{set} から指紋を学ぶ。 最新の指紋法とアブレーション研究との比較により,安定性と帰属性が向上した。 さらに,モデル間の暗黙的類似性を学ぶために,コントラストトレーニングを用いる。 標準階層クラスタリングアルゴリズムにおいて,このメトリクスを用いて生成モデルの潜在族を探索する。

関連論文リスト

• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• ManiFPT: Defining and Analyzing Fingerprints of Generative Models [16.710998621718193]
  生成モデルにおけるアーティファクトと指紋の定義を形式化する。 我々は実際にそれらを計算するためのアルゴリズムを提案する。 指紋の構造について検討し,異なる設計選択が生成過程に与える影響を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2024-02-16T01:58:35Z)
• Model Synthesis for Zero-Shot Model Attribution [26.835046772924258]
  生成モデルは、芸術、デザイン、人間とコンピュータの相互作用などの様々な分野を形作っている。 実世界の生成モデルの指紋パターンを模倣した多数の合成モデルを生成するモデル合成手法を提案する。 実験により, この指紋抽出装置は, 合成モデルのみを訓練し, 様々な実世界の生成モデルに対して, 印象的なゼロショットの一般化を実現することができた。
  論文  参考訳（メタデータ） (2023-07-29T13:00:42Z)
• Diffusion Models Beat GANs on Image Classification [37.70821298392606]
  拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2023-07-17T17:59:40Z)
• MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
  本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。 我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。 我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
  論文  参考訳（メタデータ） (2022-12-30T07:37:40Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data [64.65952078807086]
  光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。 しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。 我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
  論文  参考訳（メタデータ） (2020-07-16T16:49:55Z)
• High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
  本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。 提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。 単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
  論文  参考訳（メタデータ） (2020-01-13T14:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。