論文の概要: Open Set Classification of GAN-based Image Manipulations via a ViT-based Hybrid Architecture

• arxiv url: http://arxiv.org/abs/2304.05212v1
• Date: Tue, 11 Apr 2023 13:27:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:55:33.861072
• Title: Open Set Classification of GAN-based Image Manipulations via a ViT-based Hybrid Architecture
• Title（参考訳）: ViTハイブリッドアーキテクチャによるGANに基づく画像操作のオープンセット分類
• Authors: Jun Wang, Omran Alamayreh, Benedetta Tondi and Mauro Barni
• Abstract要約: オープンセットシナリオにおける合成顔生成と操作の分類に焦点を当てる。 提案手法は,視覚変換器(ViT)とハイブリッド手法を組み合わせて,同時分類と局所化を行う。
• 参考スコア（独自算出の注目度）: 36.85653682256554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classification of AI-manipulated content is receiving great attention, for distinguishing different types of manipulations. Most of the methods developed so far fail in the open-set scenario, that is when the algorithm used for the manipulation is not represented by the training set. In this paper, we focus on the classification of synthetic face generation and manipulation in open-set scenarios, and propose a method for classification with a rejection option. The proposed method combines the use of Vision Transformers (ViT) with a hybrid approach for simultaneous classification and localization. Feature map correlation is exploited by the ViT module, while a localization branch is employed as an attention mechanism to force the model to learn per-class discriminative features associated with the forgery when the manipulation is performed locally in the image. Rejection is performed by considering several strategies and analyzing the model output layers. The effectiveness of the proposed method is assessed for the task of classification of facial attribute editing and GAN attribution.
• Abstract（参考訳）: AIが操作するコンテンツの分類は、異なるタイプの操作を区別するために、非常に注目されている。 これまで開発された手法の多くは、操作に使われるアルゴリズムがトレーニングセットで表現されないような、オープンセットのシナリオでは失敗する。 本稿では,オープンなシナリオにおける合成顔生成と操作の分類に焦点をあて,拒絶オプションを用いた分類法を提案する。 提案手法は視覚トランスフォーマ(vit)と同時分類と局所化のためのハイブリッド手法を組み合わせたものである。 特徴マップ相関は、ViTモジュールによって利用され、ローカライゼーションブランチは、画像内の操作が局所的に実行されるときに、モデルにフォージェリに関連するクラスごとの識別的特徴を学習させるための注意機構として使用される。 拒絶は複数の戦略を検討し、モデル出力層を分析することによって行われる。 本手法の有効性は,顔属性編集とGAN属性の分類作業において評価される。

関連論文リスト

• Spatial Action Unit Cues for Interpretable Deep Facial Expression Recognition [55.97779732051921]
  表情認識(FER)のための最先端の分類器は、エンドユーザーにとって重要な特徴である解釈可能性に欠ける。 新しい学習戦略が提案され、AU cues を分類器訓練に明示的に組み込むことで、深い解釈可能なモデルを訓練することができる。 我々の新しい戦略は汎用的であり、アーキテクチャの変更や追加のトレーニング時間を必要とすることなく、ディープCNNやトランスフォーマーベースの分類器に適用できます。
  論文  参考訳（メタデータ） (2024-10-01T10:42:55Z)
• Accurate Explanation Model for Image Classifiers using Class Association Embedding [5.378105759529487]
  本稿では,グローバルな知識とローカルな知識の利点を組み合わせた生成的説明モデルを提案する。 クラスアソシエーション埋め込み(CAE)は、各サンプルを1組のクラス関連コードと個別コードにエンコードする。 クラス関連特徴を個々の特徴から効率的に分離するビルディングブロック・コヒーレンシー特徴抽出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-12T07:41:00Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• Diffusion Models Beat GANs on Image Classification [37.70821298392606]
  拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2023-07-17T17:59:40Z)
• Class-Specific Variational Auto-Encoder for Content-Based Image Retrieval [95.42181254494287]
  本稿では,変分自動エンコーダ(VAE)に対する正規化損失を提案する。 その結果、モデルは、関心のクラスに属するデータを他のあらゆる可能性から識別することを学ぶ。 実験の結果,提案手法はドメイン内およびドメイン外検索における競合よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-23T19:51:25Z)
• Self-Supervised Clustering on Image-Subtracted Data with Deep-Embedded Self-Organizing Map [0.0]
  自己教師型機械学習モデルであるdeep-embedded self-organizing map (DESOM)を実ボガス分類問題に適用する。 我々は異なるモデルトレーニング手法を実証し、最良のDESOM分類器は検出率6.6%、偽陽性率1.5%を示した。
  論文  参考訳（メタデータ） (2022-09-14T02:37:06Z)
• Recent Advances in Domain Adaptation for the Classification of Remote Sensing Data [13.003241006687322]
  リモートセンシングデータ分類の問題を解決するためにドメイン適応(DA)アプローチが提案されている。 本稿では,リモートセンシングにおけるDAの最近の進歩について批判的なレビューを行う。 高い空間分解能とスペクトル分解能を特徴とするリアルリモートセンシング画像に対する検討手法の適用例を紹介します。
  論文  参考訳（メタデータ） (2021-04-15T21:15:48Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• Texture image classification based on a pseudo-parabolic diffusion model [0.0]
  提案手法は、確立されたベンチマークテクスチャデータベースの分類と、植物種認識の実践的な課題について検証する。 画像の同種領域内では、擬似放物的演算子が、うる限りノイズの多い詳細を滑らかにすることができることで、優れた性能を大いに正当化することができる。
  論文  参考訳（メタデータ） (2020-11-14T00:04:07Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。