論文の概要: Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection

• arxiv url: http://arxiv.org/abs/2411.15633v2
• Date: Fri, 31 Jan 2025 17:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:00.226504
• Title: Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection
• Title（参考訳）: 一般化可能なAI生成画像検出のための直交部分空間分解
• Authors: Zhiyuan Yan, Jiangming Wang, Peng Jin, Ke-Yue Zhang, Chengchun Liu, Shen Chen, Taiping Yao, Shouhong Ding, Baoyuan Wu, Li Yuan,
• Abstract要約: 航法的に訓練された検出器は、限定的で単調な偽のパターンに過度に適合する傾向にあり、特徴空間は高度に制約され、低ランクになる。 潜在的な治療法の1つは、ビジョンファウンデーションモデルに事前訓練された知識を取り入れて、機能領域を広げることである。 主成分を凍結し,残った成分のみを適応させることで,偽造関係のパターンを学習しながら,事前学習した知識を保存できる。
• 参考スコア（独自算出の注目度）: 58.87142367781417
• License:
• Abstract: AI-generated images (AIGIs), such as natural or face images, have become increasingly realistic and indistinguishable, making their detection a critical and pressing challenge. In this paper, we start from a new perspective to excavate the reason behind the failure generalization in AIGI detection, named the \textit{asymmetry phenomenon}, where a naively trained detector tends to favor overfitting to the limited and monotonous fake patterns, causing the feature space to become highly constrained and low-ranked, which is proved seriously limiting the expressivity and generalization. One potential remedy is incorporating the pre-trained knowledge within the vision foundation models (higher-ranked) to expand the feature space, alleviating the model's overfitting to fake. To this end, we employ Singular Value Decomposition (SVD) to decompose the original feature space into two orthogonal subspaces. By freezing the principal components and adapting only the remained components, we preserve the pre-trained knowledge while learning forgery-related patterns. Compared to existing full-parameters and LoRA-based tuning methods, we explicitly ensure orthogonality enabling the higher rank of the whole feature space, effectively minimizing overfitting and enhancing generalization. Extensive experiments with our deep analysis on both deepfake and synthetic image detection benchmarks demonstrate superior generalization performance in detection.
• Abstract（参考訳）: AI生成画像(AIGI)、例えば自然画像や顔画像は、ますます現実的で区別がつかないものになり、その検出は批判的かつ圧迫的な課題となっている。 本稿では,AIGI検出におけるフェール一般化の背景となる新たな視点から,限定的かつ単調な偽パターンに過度に適合する傾向があり,特徴空間が高度に制約され,低ランク化され,表現性や一般化が著しく制限されることが証明された,‘textit{asymmetric phenomenon’ という,AIGI検出における障害一般化の背景を探索することから始める。 潜在的な治療法の1つは、ビジョンファウンデーションモデル(より高いランクの)に事前訓練された知識を組み込んで特徴空間を拡大し、モデルの過度な適合を偽物にすることである。 この目的のために、元の特徴空間を2つの直交部分空間に分解するために Singular Value Decomposition (SVD) を用いる。 主成分を凍結し,残った成分のみを適応させることで,偽造関係のパターンを学習しながら,事前学習した知識を保存できる。 既存の全パラメータと LoRA ベースのチューニング手法と比較して,特徴空間全体の高階化を可能にする直交性を明確に確保し,オーバーフィッティングの最小化と一般化の強化を効果的に行う。 ディープフェイクおよび合成画像検出ベンチマークの深部解析による広範囲な実験により,検出における一般化性能が向上した。

関連論文リスト

• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• Efficient One-Step Diffusion Refinement for Snapshot Compressive Imaging [8.819370643243012]
  Coded Aperture Snapshot Spectral Imaging (CASSI)は3次元マルチスペクトル画像(MSI)を撮影するための重要な技術である 現在の最先端の手法は、主にエンドツーエンドであり、高周波の詳細を再構築する際の制限に直面している。 本稿では,Snapshot Compressive Imagingのための自己教師型適応フレームワークにおいて,新しい1段階拡散確率モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:02:10Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Weakly Supervised Face and Whole Body Recognition in Turbulent Environments [2.2263723609685773]
  本稿では, 領域表現を生成し, 乱流像と原始像を共通部分空間に整列する, 弱教師付きフレームワークを提案する。 また、乱流画像で観測される幾何歪みを予測する新しい傾きマップ推定器も導入した。 提案手法では, 乱流のない画像や地対画像の合成は必要とせず, 注釈付きサンプルを著しく少なくする。
  論文  参考訳（メタデータ） (2023-08-22T19:58:02Z)
• ReContrast: Domain-Specific Anomaly Detection via Contrastive Reconstruction [29.370142078092375]
  殆どの高度な教師なし異常検出(UAD)手法は、大規模データセットで事前訓練された冷凍エンコーダネットワークの特徴表現をモデル化することに依存している。 本稿では,事前学習した画像領域に対するバイアスを低減するために,ネットワーク全体を最適化する新しい疫学的UAD手法であるReContrastを提案する。 2つの一般的な産業欠陥検出ベンチマークと3つの医用画像UADタスクで実験を行い、現在の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-05T05:21:15Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes [7.553507857251396]
  本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。 SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。 我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
  論文  参考訳（メタデータ） (2022-11-21T09:38:30Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。