論文の概要: Adversarial Robustness of AI-Generated Image Detectors in the Real World

• arxiv url: http://arxiv.org/abs/2410.01574v3
• Date: Tue, 03 Jun 2025 16:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.403821
• Title: Adversarial Robustness of AI-Generated Image Detectors in the Real World
• Title（参考訳）: 実世界におけるAI生成画像検出器の逆ロバスト性
• Authors: Sina Mavali, Jonas Ricker, David Pape, Asja Fischer, Lea Schönherr,
• Abstract要約: 現状の最先端分類器は,実環境下での敵例に対して脆弱であることを示す。 ほとんどの攻撃は、例えばソーシャルメディアプラットフォームへのアップロード中に画像が劣化しても有効である。 ケーススタディでは、HIVEに対してブラックボックス攻撃を行うことにより、これらの堅牢性の課題が商用ツールにも見られることを示した。
• 参考スコア（独自算出の注目度）: 13.52355280061187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Generative Artificial Intelligence (GenAI) capabilities is accompanied by a concerning rise in its misuse. In particular the generation of credible misinformation in the form of images poses a significant threat to the public trust in democratic processes. Consequently, there is an urgent need to develop tools to reliably distinguish between authentic and AI-generated content. The majority of detection methods are based on neural networks that are trained to recognize forensic artifacts. In this work, we demonstrate that current state-of-the-art classifiers are vulnerable to adversarial examples under real-world conditions. Through extensive experiments, comprising four detection methods and five attack algorithms, we show that an attacker can dramatically decrease classification performance, without internal knowledge of the detector's architecture. Notably, most attacks remain effective even when images are degraded during the upload to, e.g., social media platforms. In a case study, we demonstrate that these robustness challenges are also found in commercial tools by conducting black-box attacks on HIVE, a proprietary online GenAI media detector. In addition, we evaluate the robustness of using generated features of a robust pre-trained model and showed that this increases the robustness, while not reaching the performance on benign inputs. These results, along with the increasing potential of GenAI to erode public trust, underscore the need for more research and new perspectives on methods to prevent its misuse.
• Abstract（参考訳）: 生成人工知能(GenAI)の能力の急速な進歩には、その誤用に関する懸念が伴っている。 特に、画像の形での信頼できる偽情報の生成は、民主的プロセスに対する大衆の信頼に重大な脅威をもたらす。 したがって、真偽とAI生成コンテンツを確実に区別するツールを開発する必要がある。 大部分の検出方法は、法医学的アーティファクトを認識するために訓練されたニューラルネットワークに基づいている。 本研究では,現在最先端の分類器が実環境下での敵例に対して脆弱であることを示す。 4つの検出方法と5つの攻撃アルゴリズムからなる広範囲な実験により、攻撃者は検出器の内部知識を必要とせず、分類性能を劇的に低下させることができることを示した。 特に、ソーシャルメディアプラットフォームへのアップロード中に画像が劣化した場合でも、ほとんどの攻撃は有効である。 ケーススタディでは、プロプライエタリなGenAIメディア検出器であるHIVEをブラックボックス攻撃することで、これらの堅牢性の課題が商用ツールにも見られることを示した。 さらに、ロバスト事前学習モデルの生成した特徴を用いたロバスト性を評価し、良性入力の性能に到達せず、ロバスト性を高めることを示した。 これらの結果は、GenAIの公的な信頼を損なう可能性の高まりとともに、その誤用を防ぐための研究と新たな視点の必要性を浮き彫りにしている。

関連論文リスト

• RAID: A Dataset for Testing the Adversarial Robustness of AI-Generated Image Detectors [57.81012948133832]
  本稿では,72kの多種多様かつ高い変換可能な対向例からなるRAID(Robust Evaluation of AI- generated Image Detectors)を提案する。 提案手法は,未知の検出器に高い成功率で転送する逆画像を生成する。 以上の結果から,現在最先端のAI生成画像検出器は,敵の例によって容易に認識できることが示唆された。
  論文  参考訳（メタデータ） (2025-06-04T14:16:00Z)
• Adversarially Robust AI-Generated Image Detection for Free: An Information Theoretic Perspective [22.514709685678813]
  我々は,AIGI検出において,対戦訓練(AT)がパフォーマンスの低下に悩まされていることを示す。 この差に触発されて,情報理論による無トレーニングロバスト検出(TRIM)を提案する。 TRIMは標準検出器上に構築され、予測エントロピーとKL分散を用いて特徴シフトを定量化する。
  論文  参考訳（メタデータ） (2025-05-28T17:20:49Z)
• Robustness in AI-Generated Detection: Enhancing Resistance to Adversarial Attacks [4.179092469766417]
  本稿では,現在のAI生成顔検出システムの脆弱性について検討する。 本稿では, 対人訓練を統合し, 対人訓練の効果を緩和するアプローチを提案する。 我々はまた、AI生成コンテンツの本質的な特徴に関する洞察を提供する、敵対的および良心的な事例の詳細な分析も提供する。
  論文  参考訳（メタデータ） (2025-05-06T11:19:01Z)
• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Time-Aware Face Anti-Spoofing with Rotation Invariant Local Binary Patterns and Deep Learning [50.79277723970418]
  模倣攻撃は 不正な識別と その後の攻撃者の認証につながる 顔認識と同様に、模倣攻撃も機械学習で検出できる。 本稿では,未使用の機能と時間認識の深層学習戦略を組み合わせることで,高い分類精度を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-27T07:26:10Z)
• Vulnerabilities in AI-generated Image Detection: The Challenge of Adversarial Attacks [39.524974831780874]
  FPBAはブラックボックス攻撃を成功させることができるので、敵攻撃はAIGI検出器にとって真の脅威であることを示す。 我々はこの手法を周波数ベースのポストトレインベイズアタック (FPBA) と呼ぶ。
  論文  参考訳（メタデータ） (2024-07-30T14:07:17Z)
• Imperceptible Face Forgery Attack via Adversarial Semantic Mask [59.23247545399068]
  本稿では, 対向性, 可視性に優れた対向性例を生成できるASMA(Adversarial Semantic Mask Attack framework)を提案する。 具体的には, 局所的なセマンティック領域の摂動を抑制し, 良好なステルス性を実現する, 対向型セマンティックマスク生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-16T10:38:11Z)
• Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
  そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。 我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。 実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
  論文  参考訳（メタデータ） (2024-04-02T12:49:22Z)
• Deepfake Sentry: Harnessing Ensemble Intelligence for Resilient Detection and Generalisation [0.8796261172196743]
  本稿では,持続的かつ積極的なディープフェイクトレーニング強化ソリューションを提案する。 我々は、ディープフェイクジェネレータモデルによって導入されたアーティファクトの効果を模倣するオートエンコーダのプールを採用する。 実験の結果,提案するアンサンブル・オートエンコーダに基づくデータ拡張学習手法が一般化の点で改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-03-29T19:09:08Z)
• Real is not True: Backdoor Attacks Against Deepfake Detection [9.572726483706846]
  本稿では,Bad-Deepfake(Bad-Deepfake)と命名された先駆的パラダイムを導入する。 我々のアプローチはトレーニングデータのサブセットを戦略的に操作することで、トレーニングされたモデルの運用特性に対する不均等な影響を軽減します。
  論文  参考訳（メタデータ） (2024-03-11T10:57:14Z)
• XAI-Based Detection of Adversarial Attacks on Deepfake Detectors [0.0]
  我々は,XAIを用いたディープフェイク検出器に対する敵攻撃を識別するための新しい手法を提案する。 本手法は, ディープフェイクの検出だけでなく, 敵攻撃の可能性に対する理解の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-05T13:25:30Z)
• Evading Forensic Classifiers with Attribute-Conditioned Adversarial Faces [6.105361899083232]
  本研究では,特定の属性セットを用いて,敵対的な偽の顔を生成することができることを示す。 本稿では,StyleGANの機能空間内の逆潜時符号を探索するフレームワークを提案する。 また,メタラーニングに基づく最適化手法を提案し,未知のターゲットモデル上でのトランスファー可能な性能を実現する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:55Z)
• Can AI-Generated Text be Reliably Detected? [54.670136179857344]
  LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。 最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。 本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• Adversarially-Aware Robust Object Detector [85.10894272034135]
  本稿では,ロバスト検出器 (RobustDet) を提案する。 本モデルは, クリーン画像の検出能力を維持しながら, 傾きを効果的に解き, 検出堅牢性を著しく向上させる。
  論文  参考訳（メタデータ） (2022-07-13T13:59:59Z)
• Real-World Adversarial Examples involving Makeup Application [58.731070632586594]
  フルフェイスメイクを用いた身体的敵攻撃を提案する。 我々の攻撃は、色や位置関連エラーなどのメークアップアプリケーションにおける手動エラーを効果的に克服できる。
  論文  参考訳（メタデータ） (2021-09-04T05:29:28Z)
• Deepfake Forensics via An Adversarial Game [99.84099103679816]
  顔偽造と画像・映像品質の両面での一般化能力向上のための対人訓練を提唱する。 AIベースの顔操作は、しばしば、一般化が困難であるモデルによって容易に発見できる高周波アーティファクトにつながることを考慮し、これらの特定のアーティファクトを曖昧にしようとする新しい逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-25T02:20:08Z)
• Adversarial Attacks for Tabular Data: Application to Fraud Detection and Imbalanced Data [3.2458203725405976]
  逆の攻撃は、逆の例、つまり、AIシステムが間違った出力を返すように誘導するわずかに変更された入力を生成することを目的としています。 本稿では,不正検出の文脈において,最先端アルゴリズムを不均衡データに適用する新しい手法を提案する。 実験の結果,提案する修正が攻撃成功率に繋がることがわかった。 実世界の生産システムに適用した場合,提案手法は,高度なaiに基づく不正検出手法の堅牢性に重大な脅威を与える可能性を示す。
  論文  参考訳（メタデータ） (2021-01-20T08:58:29Z)
• Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data [64.65952078807086]
  光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。 しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。 我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
  論文  参考訳（メタデータ） (2020-07-16T16:49:55Z)
• Temporal Sparse Adversarial Attack on Sequence-based Gait Recognition [56.844587127848854]
  このような攻撃に対して,最先端の歩行認識モデルが脆弱であることを示す。 生成した対向ネットワークに基づくアーキテクチャを用いて、対向的な高品質な歩行シルエットやビデオフレームを意味的に生成する。 実験結果から, フレームの1分の1しか攻撃されない場合, 対象モデルの精度は劇的に低下することがわかった。
  論文  参考訳（メタデータ） (2020-02-22T10:08:42Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。