論文の概要: Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning

• arxiv url: http://arxiv.org/abs/2309.01246v1
• Date: Sun, 3 Sep 2023 19:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 20:43:28.728602
• Title: Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning
• Title（参考訳）: 弱教師付き自己整合学習によるジェネリックイメージマニピュレーション検出に向けて
• Authors: Yuanhao Zhai, Tianyu Luan, David Doermann, Junsong Yuan
• Abstract要約: 本稿では,弱い教師付き画像操作検出を提案する。 このような設定は、より多くのトレーニングイメージを活用することができ、新しい操作テクニックに迅速に適応する可能性がある。 マルチソース整合性(MSC)とパッチ整合性(IPC)の2つの一貫性特性が学習される。
• 参考スコア（独自算出の注目度）: 49.43362803584032
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As advanced image manipulation techniques emerge, detecting the manipulation becomes increasingly important. Despite the success of recent learning-based approaches for image manipulation detection, they typically require expensive pixel-level annotations to train, while exhibiting degraded performance when testing on images that are differently manipulated compared with training images. To address these limitations, we propose weakly-supervised image manipulation detection, such that only binary image-level labels (authentic or tampered with) are required for training purpose. Such a weakly-supervised setting can leverage more training images and has the potential to adapt quickly to new manipulation techniques. To improve the generalization ability, we propose weakly-supervised self-consistency learning (WSCL) to leverage the weakly annotated images. Specifically, two consistency properties are learned: multi-source consistency (MSC) and inter-patch consistency (IPC). MSC exploits different content-agnostic information and enables cross-source learning via an online pseudo label generation and refinement process. IPC performs global pair-wise patch-patch relationship reasoning to discover a complete region of manipulation. Extensive experiments validate that our WSCL, even though is weakly supervised, exhibits competitive performance compared with fully-supervised counterpart under both in-distribution and out-of-distribution evaluations, as well as reasonable manipulation localization ability.
• Abstract（参考訳）: 高度な画像操作技術が出現するにつれて、画像操作の検出がますます重要になる。 画像操作検出における最近の学習ベースのアプローチの成功にもかかわらず、訓練には高価なピクセルレベルのアノテーションを必要とするのが一般的である。 これらの制限に対処するために,訓練目的にはバイナリ画像レベルラベル(真または改ざんされたラベル)のみが必要となるように,弱教師付き画像操作検出を提案する。 このような弱い教師付き設定は、より多くのトレーニングイメージを活用でき、新しい操作技術に素早く適応できる可能性がある。 一般化能力を向上させるために,弱教師付き自己整合学習(WSCL)を提案する。 具体的には、マルチソース一貫性(MSC)とパッチ間一貫性(IPC)の2つの一貫性特性が学習される。 MSCは異なるコンテンツに依存しない情報を活用し、オンラインの擬似ラベル生成と改善プロセスを通じてクロスソース学習を可能にする。 ipcは、完全な操作領域を発見するために、グローバルペアワイズパッチパッチ・パッチの関係推論を実行する。 集中的な実験により,WSCLは弱い監督下にあるものの,分布内および分布外の両方で完全に監督された性能と,適切な操作局所化能力の両面において競合性能を示すことが示された。

関連論文リスト

• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
  教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。 本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。 提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-01-27T09:39:11Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Localized Region Contrast for Enhancing Self-Supervised Learning in Medical Image Segmentation [27.82940072548603]
  本稿では,地域コントラスト(LRC)を統合した新しいコントラスト学習フレームワークを提案する。 提案手法では,Felzenszwalbのアルゴリズムによるスーパーピクセルの同定と,新しいコントラッシブサンプリング損失を用いた局所コントラスト学習を行う。
  論文  参考訳（メタデータ） (2023-04-06T22:43:13Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Towards Effective Image Manipulation Detection with Proposal Contrastive Learning [61.5469708038966]
  本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。 我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。 我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
  論文  参考訳（メタデータ） (2022-10-16T13:30:13Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
  我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。 実験により,低次元空間における画像の表現が可能であることを実証した。 多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
  論文  参考訳（メタデータ） (2021-06-11T09:02:30Z)
• Image Manipulation Detection by Multi-View Multi-Scale Supervision [11.319080833880307]
  画像操作検出の主な課題は、新しいデータの操作に敏感な一般化可能な特徴の学習方法である。 本稿では,多視点特徴学習とマルチスケール監視による両面の考察を行う。 我々の思考はMVSS-Netと呼ばれる新しいネットワークによって実現される。
  論文  参考訳（メタデータ） (2021-04-14T13:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。