論文の概要: Mandela-Bench: Multimodal Models Remember Canonical Images Instead of Seeing Them

• arxiv url: http://arxiv.org/abs/2609.32763v1
• Date: Sat, 26 Sep 2026 16:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:38:14.754379
• Title: Mandela-Bench: Multimodal Models Remember Canonical Images Instead of Seeing Them
• Title（参考訳）: マンデラ・ベンチ」のマルチモーダルモデル
• Abstract要約: 標準画像の1,507個の編集を含むMandela-Benchを紹介する。 モデルが偽造を検知するかどうかだけでなく、その説明が挿入された実体を識別するかどうかを評価する。 一部のモデルは、別々に表示された元の顔と置き換えられた顔とを区別できるが、完全な編集された写真は本物であると判断する。
• 参考スコア（独自算出の注目度）: 9.642483083656407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Historical photographs and other canonical images can now be edited seamlessly with a single instruction, often leaving no reliable pixel-level trace. In such cases, the only evidence of manipulation may be a fact about what the image depicts. Existing benchmarks instead rely on generator artefacts, image-caption inconsistencies, visual implausibilities, or external references, and therefore do not test whether a model can use its own world knowledge to verify a recognized image. We introduce Mandela-Bench, containing 1,507 edits of canonical images: 1,359 knowledge-only forgeries, each contradicting one verifiable fact, and 148 anchor-free controls that preserve the editing process without introducing a factual contradiction, together with 474 untouched originals. We score not only whether a model detects a forgery, but whether its explanation identifies the inserted entity or the fact being violated. Across 36 multimodal models, from 0.8B parameters to frontier scale, we find a consistent failure mode. When a public figure is removed from a familiar photograph, models still name that person in up to 72.7% of responses. Some models can distinguish the replacement face from the original when shown in isolation, yet still judge the full edited photograph as authentic. Providing the true event and date does not improve knowledge-grounded detection, whereas providing the same information after cropping away the recognizable composition does. Even under explicit verification prompts, only one of the 36 models meets the KGR criterion on at least half of the forged images. These results suggest that the failures cannot be explained by missing knowledge or inadequate perception alone. Instead, they are consistent with recognition biasing verification toward the remembered canonical image rather than the observed edit.
• Abstract（参考訳）: 歴史的写真やその他の標準画像は単一の命令でシームレスに編集でき、しばしば信頼できるピクセルレベルの痕跡は残らない。 そのような場合、操作の唯一の証拠は、その画像が何を描いているかに関する事実であるかもしれない。 既存のベンチマークは、ジェネレータのアーティファクト、画像キャプションの不整合、視覚的不確実性、または外部参照に依存しているため、モデルが認識された画像を検証するために独自の世界知識を利用できるかどうかを検証しない。 1,359個の知識のみの偽造物と1つの検証可能な事実を矛盾させる1,359個の知識のみの偽造物と、実際の矛盾を伴わずに編集プロセスを保存する1,128個のアンカーフリー制御と474個の未修正オリジナルを含むマンデラ・ベンチを紹介する。 モデルが偽造を検知するだけでなく、その説明が挿入された実体を識別するかどうか、あるいは違反している事実を判定する。 0.8Bパラメータからフロンティアスケールまでの36のマルチモーダルモデルに対して、一貫した障害モードが見つかる。 身近な写真から人物が取り除かれると、モデルはまだ72.7%の反応でその人物を名付けている。 一部のモデルは、別々に表示された元の顔と置き換えられた顔とを区別できるが、完全な編集された写真は本物であると判断する。 真の出来事と日付を提供することは、知識に基づく検出を改善するものではないが、認識可能な構成を取り除いた後に同じ情報を提供する。 明確な検証のプロンプトの下でも、36モデルのうちの1つだけが、鍛造画像の少なくとも半分のKGR基準を満たす。 これらの結果から,失敗は知識不足や不適切な認識だけでは説明できないことが示唆された。 代わりに、それらは観察された編集ではなく、記憶された標準画像に対する認識バイアスによる検証と一致している。

関連論文リスト

• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• One Prompt Is Enough: Watermark Laundering Through Foundation Image Models [25.347499950462524]
  攻撃者は、単一の再構成プロンプトで透かし画像を送信し、見えない透かしを確実に復号できない、視覚的に忠実な出力を得ることができる。 我々は、この障害モードをウォーターマーク洗浄として形式化し、ビット誤り率(BER)と視覚的および意味的保存を組み合わせた共同ペイロード忠実度プロファイルを用いて評価する。 一方、Nano Banana 2は、DwtDctが高忠実度再構成の下で脆弱であることを示しています。
  論文  参考訳（メタデータ） (2026-09-01T13:46:31Z)
• SPARED: Reasoning-Based AI-Generated Image Detection via Adversarially Edited Data [6.383381853013106]
  Methodnameは2つの異種モデルを互いにピットする逆学習フレームワークである。 拡散画像エディターは、実際の写真を現在の検出器を騙す同じ写真の偽の写真に編集することを学ぶ。 MLLMは、自由形式の推論に基づく判断でそれらを公開することを学ぶ。
  論文  参考訳（メタデータ） (2026-08-13T06:40:20Z)
• Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
  私たちは検出器を構築し、その証拠として属性マップを添付します。 私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。 属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
  論文  参考訳（メタデータ） (2026-07-31T16:07:05Z)
• The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank [0.33451037881913753]
  サイテーションは、モデルが研究者を認識するかどうかの3分の1について説明する。 独立した裁判官は、キュレートされた金に対して二項の評決を返します。 認定は資格やタイトルではなく、名前付きインデックス可能なアーティファクトに支払われる。
  論文  参考訳（メタデータ） (2026-07-14T08:54:07Z)
• FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
  日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。 既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。 そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
  論文  参考訳（メタデータ） (2026-05-13T08:49:51Z)
• Privacy Assessment on Reconstructed Images: Are Existing Evaluation Metrics Faithful to Human Perception? [86.58989831070426]
  本研究では,手作りのメトリクスの忠実さを,再構成画像からの人間のプライバシー情報の認識に適用する。 本稿では,SemSimと呼ばれる学習に基づく尺度を提案し,オリジナル画像と再構成画像のセマンティック類似性を評価する。
  論文  参考訳（メタデータ） (2023-09-22T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。