論文の概要: Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection

• arxiv url: http://arxiv.org/abs/2411.15633v1
• Date: Sat, 23 Nov 2024 19:10:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:03.380484
• Title: Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection
• Title（参考訳）: 汎用AI生成画像検出のための高能率直交モデリング
• Authors: Zhiyuan Yan, Jiangming Wang, Zhendong Wang, Peng Jin, Ke-Yue Zhang, Shen Chen, Taiping Yao, Shouhong Ding, Baoyuan Wu, Li Yuan,
• Abstract要約: 既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
• 参考スコア（独自算出の注目度）: 66.16595174895802
• License:
• Abstract: Existing AI-generated image (AIGI) detection methods often suffer from limited generalization performance. In this paper, we identify a crucial yet previously overlooked asymmetry phenomenon in AIGI detection: during training, models tend to quickly overfit to specific fake patterns in the training set, while other information is not adequately captured, leading to poor generalization when faced with new fake methods. A key insight is to incorporate the rich semantic knowledge embedded within large-scale vision foundation models (VFMs) to expand the previous discriminative space (based on forgery patterns only), such that the discrimination is decided by both forgery and semantic cues, thereby reducing the overfitting to specific forgery patterns. A straightforward solution is to fully fine-tune VFMs, but it risks distorting the well-learned semantic knowledge, pushing the model back toward overfitting. To this end, we design a novel approach called Effort: Efficient orthogonal modeling for generalizable AIGI detection. Specifically, we employ Singular Value Decomposition (SVD) to construct the orthogonal semantic and forgery subspaces. By freezing the principal components and adapting the residual components ($\sim$0.19M parameters), we preserve the original semantic subspace and use its orthogonal subspace for learning forgeries. Extensive experiments on AIGI detection benchmarks demonstrate the superior effectiveness of our approach.
• Abstract（参考訳）: 既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を特定する。トレーニング中、モデルはトレーニングセット内の特定のフェイクパターンに迅速に適合する傾向にあり、他の情報は適切にキャプチャされないため、新しいフェイクメソッドに直面すると一般化が低下する。 重要な洞察は、大規模な視覚基盤モデル(VFM)に埋め込まれた豊富な意味知識を組み込んで、(偽造パターンのみに基づく)以前の識別空間を拡張することである。 簡単な解決策は、VFMを完全に微調整することだが、十分に学習されたセマンティック知識を歪め、モデルを過度に適合させるリスクがある。 そこで我々は,汎用AIGI検出のための効率的な直交モデリング手法であるEffortを考案した。 具体的には,Singular Value Decomposition (SVD) を用いて直交意味空間とフォージェリー部分空間を構築する。 主成分を凍結し、残留成分($\sim$0.19M)を適応させることで、元の意味的部分空間を保存し、その直交部分空間をフォージェリーの学習に使用する。 AIGI検出ベンチマークの大規模な実験は、我々のアプローチの優れた効果を示している。

関連論文リスト

• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• Efficient One-Step Diffusion Refinement for Snapshot Compressive Imaging [8.819370643243012]
  Coded Aperture Snapshot Spectral Imaging (CASSI)は3次元マルチスペクトル画像(MSI)を撮影するための重要な技術である 現在の最先端の手法は、主にエンドツーエンドであり、高周波の詳細を再構築する際の制限に直面している。 本稿では,Snapshot Compressive Imagingのための自己教師型適応フレームワークにおいて,新しい1段階拡散確率モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:02:10Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• Weakly Supervised Face and Whole Body Recognition in Turbulent Environments [2.2263723609685773]
  本稿では, 領域表現を生成し, 乱流像と原始像を共通部分空間に整列する, 弱教師付きフレームワークを提案する。 また、乱流画像で観測される幾何歪みを予測する新しい傾きマップ推定器も導入した。 提案手法では, 乱流のない画像や地対画像の合成は必要とせず, 注釈付きサンプルを著しく少なくする。
  論文  参考訳（メタデータ） (2023-08-22T19:58:02Z)
• ReContrast: Domain-Specific Anomaly Detection via Contrastive Reconstruction [29.370142078092375]
  殆どの高度な教師なし異常検出(UAD)手法は、大規模データセットで事前訓練された冷凍エンコーダネットワークの特徴表現をモデル化することに依存している。 本稿では,事前学習した画像領域に対するバイアスを低減するために,ネットワーク全体を最適化する新しい疫学的UAD手法であるReContrastを提案する。 2つの一般的な産業欠陥検出ベンチマークと3つの医用画像UADタスクで実験を行い、現在の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-05T05:21:15Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes [7.553507857251396]
  本研究では,検出問題を(一級)アウト・オブ・ディストリビューション検出タスクとして形式化する,SeeABLEと呼ばれる新しいディープフェイク検出器を提案する。 SeeABLEは、新しい回帰ベースの有界コントラスト損失を使用して、乱れた顔を事前定義されたプロトタイプにプッシュする。 我々のモデルは競合する最先端の検出器よりも高い性能を示しながら、高度に一般化能力を示す。
  論文  参考訳（メタデータ） (2022-11-21T09:38:30Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。