論文の概要: IPAD-CLIP: Teaching CLIP to Detect Image Local Perceptual Artifacts
- arxiv url: http://arxiv.org/abs/2605.08664v1
- Date: Sat, 09 May 2026 04:04:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.799319
- Title: IPAD-CLIP: Teaching CLIP to Detect Image Local Perceptual Artifacts
- Title（参考訳）: IPAD-CLIP:CLIPによる画像局所知覚要素の検出
- Abstract要約: 我々は、このギャップに対処するために、画像知覚アーチファクト検出(IPAD)タスクを形式化する。
IPADの主な課題は、これらのアーティファクトの局所的で微妙でセマンティックに弱い性質にある。
本稿では,CLIP上に構築された新しいフレームワークであるIPAD-CLIPを紹介する。
- 参考スコア（独自算出の注目度）: 43.42573468235177
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Current image quality assessment methods are heavily biased towards global distortions (e.g., noise, blur), neglecting local perceptual artifacts such as ghosting, lens flare, and moire effects. Although significant progress has been made in artifact removal, the fundamental problem of automatic artifact detection remains largely unexplored. In this paper, we formalize the Image Perceptual Artifact Detection (IPAD) task to address this gap. We contribute a benchmark dataset comprising 3,520 artifact images, including 520 real-captured and 3,000 synthetic samples, each paired with pixel-level masks across three representative artifact categories. The core challenge of IPAD lies in the localized, subtle, and semantically weak nature of these artifacts, which makes them prone to missed detection. To overcome this, we introduce IPAD-CLIP, a novel framework built upon CLIP that enhances artifact discrimination in both textual and visual spaces while preserving generalization capabilities. Our key insight is that local artifacts often exhibit strong correlations with specific semantic contexts. Accordingly, we learn artifact-aware text embeddings to explicitly model the object-artifact relationships, resulting in enhanced representations that clear differentiate between clean and artifact prompts. These text embeddings are then used as anchors to shift the visual encoder's attention from high-level semantics to subtle, low-level artifacts. Extensive experiments demonstrate that IPAD-CLIP offers a resource-efficient adaptation of CLIP for detection, significantly outperforming advanced image anomaly detection and manipulation detection methods on our benchmark. To the best of our knowledge, this is the first study addressing multi-class local perceptual artifact detection in terms of both dataset and model.
- Abstract（参考訳）: 現在の画像品質評価手法は、グローバルな歪み(例えば、ノイズ、ぼかし)に大きく偏り、ゴースト、レンズフレア、モアレ効果などの局所的な知覚的成果を無視している。
アーティファクトの除去には大きな進歩があったが、自動アーティファクト検出の根本的な問題は未解明のままである。
本稿では,このギャップに対処するために,画像知覚人工物検出(IPAD)タスクを形式化する。
520個の実撮画像と3,000個の合成サンプルを含む3,520個のアーティファクト画像からなるベンチマークデータセットを,それぞれ3つの代表的なアーティファクトカテゴリにわたる画素レベルのマスクと組み合わせて提案する。
IPADの中核的な課題は、これらのアーティファクトの局所的で微妙で意味的に弱い性質にある。
この問題を解決するために,CLIP上に構築された新しいフレームワークであるIPAD-CLIPを導入する。
私たちの重要な洞察は、局所的なアーティファクトは特定の意味的文脈と強い相関関係を示すことが多いということです。
したがって、アーティファクトを意識したテキスト埋め込みを学習して、オブジェクトとアーティファクトの関係を明示的にモデル化し、結果として、クリーンプロンプトとアーティファクトプロンプトの区別を明確にする表現が強化される。
これらのテキスト埋め込みは、視覚エンコーダの注意を高レベルのセマンティクスから微妙で低レベルのアーティファクトに移行するアンカーとして使用される。
大規模な実験により、IPAD-CLIPはCLIPのリソース効率のよい適応を提供し、我々のベンチマークにおける高度な画像異常検出および検出方法よりも優れていた。
私たちの知る限りでは、データセットとモデルの両方の観点から、マルチクラスローカルな知覚的アーティファクト検出に対処する最初の研究である。
関連論文リスト
- See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis [17.896266572037348]
ArtiAgentは、リアルイメージとアーティファクトインジェクトイメージのペアを効率よく生成する。
実際の画像から実体やサブエンティティを認識する知覚エージェント、アーティファクト注入ツールを介してアーティファクトを導入する合成エージェント、合成アーティファクトをフィルタリングするキュレーションエージェントの3つからなる。
論文 参考訳（メタデータ） (2026-02-24T14:34:13Z) - Unveiling Perceptual Artifacts: A Fine-Grained Benchmark for Interpretable AI-Generated Image Detection [95.08316274158165]
X-AIGDは、低レベルの歪み、高レベルの意味論、認知レベルの反事実など、知覚的アーティファクトのピクセルレベルの分類されたアノテーションを提供する。
既存のAIGI検出器は、最も基本的な歪みレベルであっても、知覚的アーティファクトに依存しない。
モデル注意をアーティファクト領域と明確に整合させることは、検出器の解釈可能性と一般化を高めることができる。
論文 参考訳（メタデータ） (2026-01-27T10:09:17Z) - Leveraging Hierarchical Image-Text Misalignment for Universal Fake Image Detection [58.927873049646024]
実画像と比較して,偽画像は対応するキャプションと適切に一致しないことを示す。
本稿では,視覚空間における画像テキストの不一致を識別的手がかりとして活用し,簡易かつ効果的なITEMを提案する。
論文 参考訳（メタデータ） (2025-11-01T06:51:14Z) - Synthesizing Artifact Dataset for Pixel-level Detection [16.31703475992344]
ファクト検出器は、微調整中に報酬モデルとして機能することにより、画像生成モデルの性能を向上させる。
本研究では, 人工物を自動的に, 所定の領域で高品質な合成画像に注入する人工物汚濁パイプラインを提案する。
提案手法は,ConvNeXtで13.2%,Swin-Tで3.7%の性能向上を実現している。
論文 参考訳（メタデータ） (2025-09-23T21:28:33Z) - LEGION: Learning to Ground and Explain for Synthetic Image Detection [49.958951540410816]
提案するSynthScarsは,12,236個の完全合成画像からなる高品質で多様なデータセットである。
4つの異なる画像コンテンツタイプ、3つのアーティファクトカテゴリ、ピクセルレベルのセグメンテーション、詳細なテキスト説明、アーティファクトカテゴリラベルを含んでいる。
人工物の検出,分割,説明を統合するマルチモーダル大規模言語モデル(MLLM)に基づく画像偽造解析フレームワークであるLEGIONを提案する。
論文 参考訳（メタデータ） (2025-03-19T14:37:21Z) - Improving Synthetic Image Detection Towards Generalization: An Image Transformation Perspective [45.210030086193775]
現在の合成画像検出(SID)パイプラインは、主に普遍的なアーティファクト機能を構築することを目的としている。
3つの簡単な画像変換を持つ軽量かつ効率的な検出器SAFEを提案する。
我々のパイプラインは、新しい最先端のパフォーマンスを実現し、既存の手法に対する平均精度は4.5%、平均精度は2.9%向上した。
論文 参考訳（メタデータ） (2024-08-13T09:01:12Z) - Knowledge-Aware Artifact Image Synthesis with LLM-Enhanced Prompting and
Multi-Source Supervision [5.517240672957627]
本稿では,失った歴史的物体を視覚的形状に正確に反映する,知識を意識した新しい人工物画像合成手法を提案する。
既存の手法と比較して,提案手法は文書に含まれる暗黙の細部や歴史的知識とよく一致した高品質なアーティファクト画像を生成する。
論文 参考訳（メタデータ） (2023-12-13T11:03:07Z) - Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。
提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。
生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-10-09T10:22:08Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Identifying Invariant Texture Violation for Robust Deepfake Detection [17.306386179823576]
Invariant Texture Learning frameworkは,低画質で公開されたデータセットにのみアクセスすることができる。
本手法は, 被写体から転写したテクスチャによって, 被写体表面の微視的顔のテクスチャが必然的に侵害されることを前提とした。
論文 参考訳（メタデータ） (2020-12-19T03:02:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。