論文の概要: False Claims, Credible Images: A Red-Teaming Benchmark for Commercial Image Generators

• arxiv url: http://arxiv.org/abs/2610.11112v1
• Date: Thu, 08 Oct 2026 02:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.742454
• Title: False Claims, Credible Images: A Red-Teaming Benchmark for Commercial Image Generators
• Title（参考訳）: False Claims, Credible Images: 商用画像生成装置のためのレッドチームベンチマーク
• Abstract要約: 商用画像生成装置における視覚的誤情報リスクを評価するための最初のベンチマークであるEpiReal-Benchを紹介する。 偽造表現の70%以上は、対応する誤報を忠実に描写した画像を引き出すよう促し、エピレアル・アタックはこの率を95%に押し上げた。 最も心配なのは、これらのモデルはクリックアウトするだけで、アウトプットは安価に展開でき、信じがたいほど広まらず、このアライメントの次元はほとんど守られていないことだ。
• 参考スコア（独自算出の注目度）: 16.930074125555603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-generation models can now produce text-rich, natural-looking visual artifacts that are hard to distinguish from real-world evidence, such as news reports and textbook pages. Yet, the same capability introduces a new risk: these models can just as easily fabricate visual misinformation. Even commercial models (e.g., GPT-Image-2) readily produce it. Curiously, we find that these models can recognize a claim as false when asked, yet still render that very claim as credible visual evidence. This discrepancy points to a blind spot in current alignment: safeguards judge what an image shows, not what it asserts; however, existing red-teaming benchmarks target conventional harmful content, such as violent or explicit imagery, and say little about where the alignment boundaries lie for visual misinformation, especially in commercial models. To fill this gap, we introduce EpiReal-Bench, the first systematic benchmark for evaluating visual misinformation risks in commercial image generators, comprising 10k false-claim prompts and 10k corresponding generated images that span 10 real-world claim categories and 10 credible visual formats. We further introduce EpiReal-Attack, a skill-guided black-box optimization framework that uses Pareto-based selection and multimodal feedback to identify commands that bypass alignment safeguards while preserving visual realism, textual legibility, and semantic fidelity. Experiments on four commercial models reveal that more than 70% of false-claim prompts elicit images that faithfully depict the corresponding misinformation, and EpiReal-Attack pushes this rate to 95%. Most worryingly, these models are only a click away, and their outputs are cheap to spread yet hard to disbelieve, leaving this dimension of alignment largely unguarded.
• Abstract（参考訳）: 画像生成モデルは、ニュースレポートや教科書ページのような現実世界の証拠と区別が難しい、テキストが豊富で自然に見えるビジュアルアーティファクトを作成できるようになった。 しかし、同じ能力で新たなリスクがもたらされる。 商用モデル(例: GPT-Image-2)でも容易に製造できる。 疑わしいことに、これらのモデルでは、クレームをクレームが嘘だと認識できるが、そのクレームを信用できる視覚的証拠とみなすことができる。 この不一致は、現在のアライメントにおける盲点を指している: セーフガードは画像が何を表示しているかを判断するが、既存のレッドチームベンチマークは暴力的または明示的な画像のような従来の有害なコンテンツをターゲットにしており、アライメント境界が視覚的誤報のどこにあるか、特に商業モデルではほとんど語らない。 このギャップを埋めるために、EpiReal-Benchは、商用画像生成装置における視覚的誤情報リスクを評価するための最初の体系的ベンチマークである。 スキルガイドによるブラックボックス最適化フレームワークであるEpiReal-Attackについても紹介する。これはParetoベースの選択とマルチモーダルフィードバックを用いて,視覚的リアリズム,テキストの正当性,意味的忠実性を保ちながらアライメントガードをバイパスするコマンドを識別する。 4つの商業モデルの実験では、偽造の70%以上が、対応する誤報を忠実に描写する画像を引き起こし、エピリール・アタックはこの率を95%に押し上げた。 最も心配なのは、これらのモデルはクリックアウトするだけで、アウトプットは安価に展開でき、信じがたいほど広まらず、このアライメントの次元はほとんど守られていないことだ。

関連論文リスト

• Are Image Generators Zero-Shot Perceivers? A Rigorous Evaluation [54.18771863630389]
  ゼロショット設定で、イメージジェネレータがパブリックな視覚知覚ベンチマークにどこまで到達できるかを尋ねる。 本稿では,単眼深度推定を行うゼロショット生成知覚のベンチマークであるProbeGenを紹介する。 予め訓練した画像生成装置は、ゼロショットの知覚能力が測定可能であるが、明確なトレードオフがある。
  論文  参考訳（メタデータ） (2026-09-07T18:48:57Z)
• Grounding and Explaining Visual Evidence for AI-Generated Image Detection in Human-Centric Scenes [33.05351037039477]
  HAVE(Human中心のAI生成ビジュアルエビデンス)は,40K実写と39K実写のAI生成画像からなる多種多様な人間中心のデータセットである。 本稿では,認証予測,視覚的エビデンス,説明生成を共同で行うパーセプション対応ビジュアルエビデンスフレームワークPAVEを提案する。 HAVEおよび外部データセットの実験は、真正性検出、視覚的エビデンスグラウンド、説明品質において、強いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-08-03T09:49:24Z)
• GenAI Confessions: Black-box Membership Inference for Generative Image Models [13.106063755117399]
  モデルが特定の画像や画像に対してトレーニングされたかどうかを判断する手法について述べる。 この方法は計算的に効率的であり、モデルアーキテクチャや重みに関する明確な知識を前提としない。 我々は、既存のモデルの監査にこの手法が不可欠であると予測し、生成AIモデルのより公平な開発と展開を期待する。
  論文  参考訳（メタデータ） (2025-01-11T01:12:23Z)
• Evaluating Image Hallucination in Text-to-Image Generation with Question-Answering [13.490305443938817]
  我々は,新しい評価指標であるI-HallA (Image Hallucination Evaluation with Question Answering)を紹介する。 I-HallAは視覚的質問応答(VQA)を用いて生成画像の事実性を測定する I-HallAを用いて5つのTTIモデルを評価し、これらの最先端モデルが事実情報を正確に伝達できないことを明らかにする。
  論文  参考訳（メタデータ） (2024-09-19T13:51:21Z)
• Backdooring Bias ($B^2$) into Stable Diffusion Models [13.39575393090411]
  本研究では,敵が対象モデルに任意のバイアスを注入できる攻撃ベクトルについて検討する。 相手は、推論中に良質なユーザーが不注意にアクティベートできる単語の一般的なシーケンスを選択することができる。 20万以上の生成された画像と何百もの微調整されたモデルを用いた実験は、提示されたバックドア攻撃の可能性を示している。
  論文  参考訳（メタデータ） (2024-06-21T14:53:19Z)
• Inpaint Biases: A Pathway to Accurate and Unbiased Image Generation [0.0]
  Inpaint Biasesフレームワークは,画像生成の精度を高めるために,ユーザ定義マスクとインペイント技術を利用する。 我々は,このフレームワークが生成した画像のユーザ意図に対する忠実度を大幅に改善し,モデルの作成能力を向上することを示す。
  論文  参考訳（メタデータ） (2024-05-29T05:04:07Z)
• Invisible Relevance Bias: Text-Image Retrieval Models Prefer AI-Generated Images [67.18010640829682]
  我々は,AI生成画像がテキスト画像検索モデルに目に見えない関連性バイアスをもたらすことを示す。 検索モデルのトレーニングデータにAI生成画像を含めると、目に見えない関連性バイアスが増す。 本研究では,目に見えない関連バイアスを軽減するための効果的なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:22:58Z)
• Text-image guided Diffusion Model for generating Deepfake celebrity interactions [50.37578424163951]
  拡散モデルは近年、非常にリアルなビジュアルコンテンツ生成を実証している。 本稿では,その点において新しい手法を考案し,検討する。 提案手法により, 現実感を脅かすことなく, 偽の視覚コンテンツを作成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-26T08:24:37Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。