論文の概要: Perceptual Artifacts Localization for Image Synthesis Tasks

• arxiv url: http://arxiv.org/abs/2310.05590v1
• Date: Mon, 9 Oct 2023 10:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 06:29:45.670902
• Title: Perceptual Artifacts Localization for Image Synthesis Tasks
• Title（参考訳）: 画像合成作業における知覚的アーティファクトの局在化
• Authors: Lingzhi Zhang, Zhengjie Xu, Connelly Barnes, Yuqian Zhou, Qing Liu, He Zhang, Sohrab Amirghodsi, Zhe Lin, Eli Shechtman, Jianbo Shi
• Abstract要約: 我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。 提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。 生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 59.638307505334076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in deep generative models have facilitated the creation of photo-realistic images across various tasks. However, these generated images often exhibit perceptual artifacts in specific regions, necessitating manual correction. In this study, we present a comprehensive empirical examination of Perceptual Artifacts Localization (PAL) spanning diverse image synthesis endeavors. We introduce a novel dataset comprising 10,168 generated images, each annotated with per-pixel perceptual artifact labels across ten synthesis tasks. A segmentation model, trained on our proposed dataset, effectively localizes artifacts across a range of tasks. Additionally, we illustrate its proficiency in adapting to previously unseen models using minimal training samples. We further propose an innovative zoom-in inpainting pipeline that seamlessly rectifies perceptual artifacts in the generated images. Through our experimental analyses, we elucidate several practical downstream applications, such as automated artifact rectification, non-referential image quality evaluation, and abnormal region detection in images. The dataset and code are released.
• Abstract（参考訳）: 近年の深部生成モデルの発展により,様々なタスクにまたがる写真リアル画像の作成が容易になった。 しかし、これらの生成された画像は、しばしば特定の領域で知覚的アーティファクトを示し、手動補正を必要とする。 本研究では,多種多様な画像合成技術にまたがる知覚人工物局所化(PAL)の総合的実証検討を行った。 10個の合成タスクに1ピクセルあたりの知覚的アーティファクトラベルを付加した10,168個の画像からなる新しいデータセットを提案する。 提案するデータセットでトレーニングされたセグメンテーションモデルは、さまざまなタスクにわたってアーティファクトを効果的にローカライズします。 さらに、最小限のトレーニングサンプルを用いて、未確認モデルに適応する能力について説明する。 さらに,生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。 実験結果から,画像中のアーティファクトの自動修正,非参照画像品質評価,異常領域検出など,いくつかの実用的下流アプリケーションを明らかにする。 データセットとコードがリリースされる。

関連論文リスト

• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• SynArtifact: Classifying and Alleviating Artifacts in Synthetic Images via Vision-Language Model [16.399408310304793]
  総合的なアーティファクト分類法を開発し、微調整視覚言語モデル(VLM)のためのアーティファクトアノテーションを用いた合成画像のデータセットを構築する。 微調整されたVLMは、アーティファクトを識別し、ベースラインを25.66%上回る優れた能力を示す。
  論文  参考訳（メタデータ） (2024-02-28T05:54:02Z)
• Rethinking the Up-Sampling Operations in CNN-based Generative Network for Generalizable Deepfake Detection [86.97062579515833]
  我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。 tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。 この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
  論文  参考訳（メタデータ） (2023-12-16T14:27:06Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Image Completion via Inference in Deep Generative Models [16.99337751292915]
  画像生成モデルにおける償却推論の観点から画像完成を検討する。 CIFAR-10およびFFHQ-256データセットの先行技術と比較して、優れたサンプル品質と多様性を示します。
  論文  参考訳（メタデータ） (2021-02-24T02:59:43Z)
• Graph Neural Networks for UnsupervisedDomain Adaptation of Histopathological ImageAnalytics [22.04114134677181]
  組織像解析のための教師なし領域適応のための新しい手法を提案する。 特徴空間に画像を埋め込むバックボーンと、ラベルで画像の監視信号をプロパゲートするグラフニューラルネットワーク層に基づいている。 実験では、4つの公開データセット上での最先端のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2020-08-21T04:53:44Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。