論文の概要: When Chekhov's Gun Fires Anyway: Over-Realization in Text-to-Image Models
- arxiv url: http://arxiv.org/abs/2611.16630v1
- Date: Thu, 12 Nov 2026 11:03:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.451644
- Title: When Chekhov's Gun Fires Anyway: Over-Realization in Text-to-Image Models
- Title(参考訳): チェーホフ銃が発射される時:テキストと画像のモデルで過度に再現される
- Abstract要約: テキスト・ツー・イメージ生成では、プロンプトが言及するターゲットが、プロンプトが呼び出さない方法でしばしば現れる。
メンタルスペース理論は、それが起こりうる状況を指し示している。
8つのテキスト・ツー・イメージシステムについて評価した結果,これらすべてが過剰に実現されていることがわかった。
- 参考スコア(独自算出の注目度): 21.210360622258325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In text-to-image generation, a target that the prompt mentions often appears in the generated image in a way the prompt does not call for. We call this failure over-realization. Mental-spaces theory points to the situations where it can happen: under a negation, inside what a character believes or imagines, as the vehicle of a figurative comparison, or behind a viewpoint that hides the target. Prior work has studied only negation in depth, and the conventional alignment and preference metrics do not penalize the failure. We build OverReal to measure it: OverReal-Gen, 698 prompts covering the four situations, on which we measure each generator's over-realization rate; and OverReal-Det, 2,841 generated images human-labeled for whether and how the target is over-realized, on which we verify the automatic judge that produces this rate. Our evaluation of eight text-to-image systems reveals that all of them over-realize, and that conventional metrics such as CLIPScore reward the failure rather than penalize it. Prompt expansion only partly mitigates the failure. Inside the generator, the diffusion backbone attends to a mentioned target almost as much as to a requested one. The cue words that should hold the target back receive less attention than ordinary words.
- Abstract(参考訳): テキスト・ツー・イメージ生成では、プロンプトが言及するターゲットが、プロンプトが呼び出さない方法で生成された画像にしばしば現れる。
私たちはこの失敗を過度に現実化と呼ぶ。
メンタルスペース理論(英語版)は、それが起こりうる状況を指している: 否定の下で、あるキャラクターが信じる、または想像するものの中に、比喩的な比較の乗り物として、あるいはターゲットを隠す視点の背後にある。
これまでの研究は、深く否定することだけを研究しており、従来のアライメントと選好のメトリクスは、失敗をペナルティにしない。
OverReal-Gen 698は、各ジェネレータの過剰実現率を測定する4つの状況をカバーするよう促します。
8つのテキスト・ツー・イメージシステムについて評価した結果,これらすべては過度に実現され,CLIPScoreなどの従来の指標では,ペナルティではなく,障害に報いることがわかった。
プロンプト展開は部分的には失敗を緩和するだけである。
ジェネレータ内では、拡散バックボーンは、要求されたものとほぼ同程度のターゲットに付随する。
対象語を後押しするcueワードは、通常の単語よりもあまり注目されない。
関連論文リスト
- T2I Models Rarely Invert Negation but Often Fail to Suppress Negated Concepts: Benchmarking Negation Suppression in Text-to-Image Generation [32.3656244449029]
テキスト・画像生成における否定感度を測定するためのベンチマークとメトリクスであるT2I-NSIを紹介する。
それぞれが否定的なプロンプトと正の正の正のプロンプトをペアにし、言語形式による否定を分解する。
このベンチマークには、59,869個の対のプロンプト原子が5,082個のオブジェクトカタログ上にあり、916,272個の画像がある。
論文 参考訳(メタデータ) (2026-11-06T10:56:01Z) - DecoyCount: Evaluating Visual-Reasoning Misalignment in Counting [33.98806678646302]
ビジュアルカウンティングベンチマークは、視覚言語モデルが正しい数を生成するかどうかを報告するが、エラーが知覚や推論から生じるかどうかは報告しない。
1,660個の実世界の画像を7つのメカニズムにまたがってデコイを設計したベンチマークであるDecoyCountを紹介した。
数える失敗は、部分的に視覚的不適応によって引き起こされる。
論文 参考訳(メタデータ) (2026-10-26T05:19:02Z) - VisualErase: Dual-Branch Visual Trajectory Redirection for Robust Concept Erasure in Text-to-Image Diffusion Models [93.61484351383454]
概念消去はテキストから画像への拡散モデルの安全な配置に不可欠である。
近年の研究では、消去されたモデルがターゲット概念の視覚的生成軌道を維持している可能性が示されている。
概念を包含する視覚的生成軌道を明示的に定義した概念除去結果にリダイレクトする新しいパラダイムであるVisualEraseを提案する。
論文 参考訳(メタデータ) (2026-10-04T06:44:27Z) - Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。
敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。
本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
論文 参考訳(メタデータ) (2026-05-24T17:51:34Z) - Leveraging Hierarchical Image-Text Misalignment for Universal Fake Image Detection [58.927873049646024]
実画像と比較して,偽画像は対応するキャプションと適切に一致しないことを示す。
本稿では,視覚空間における画像テキストの不一致を識別的手がかりとして活用し,簡易かつ効果的なITEMを提案する。
論文 参考訳(メタデータ) (2025-11-01T06:51:14Z) - Replace-then-Perturb: Targeted Adversarial Attacks With Visual Reasoning for Vision-Language Models [6.649753747542211]
本稿では,新たな敵攻撃手法であるReplace-then-PerturbとContrastive-Advを提案する。
Replace-then-Perturbでは、まずテキスト誘導セグメンテーションモデルを用いて画像中の対象物を見つける。
これにより、元の画像の全体的な完全性を維持しつつ、所望のプロンプトに対応するターゲット画像を生成することができる。
論文 参考訳(メタデータ) (2024-11-01T04:50:08Z) - A Novel Evaluation Framework for Image2Text Generation [15.10524860121122]
本稿では,画像生成が可能な現代大規模言語モデル(LLM)に根ざした評価フレームワークを提案する。
高い類似度スコアは、画像キャプションモデルが正確にテキスト記述を生成することを示唆している。
類似度の低いスコアは相違点を示し、モデルの性能の潜在的な欠点を明らかにする。
論文 参考訳(メタデータ) (2024-08-03T09:27:57Z) - Likelihood-Based Text-to-Image Evaluation with Patch-Level Perceptual
and Semantic Credit Assignment [48.835298314274254]
生成した画像の可能性を直接推定し,テキスト・画像生成性能を評価する。
高い確率は、知覚品質が向上し、テキスト画像のアライメントが向上することを示している。
これらのモデルの生成能力を、数百のサンプルで評価することができる。
論文 参考訳(メタデータ) (2023-08-16T17:26:47Z) - Distributed Attention for Grounded Image Captioning [55.752968732796354]
弱教師付き接地画像キャプションの問題点について検討する。
目的は、画像の対応する領域に接する各名詞語で画像のコンテキストを記述する文を自動的に生成することである。
論文 参考訳(メタデータ) (2021-08-02T17:28:33Z) - Fine-Grained Image Captioning with Global-Local Discriminative Objective [80.73827423555655]
本研究では, 細粒度記述キャプションの生成を容易にするため, グローバルな識別目的を提案する。
提案手法をMS-COCOデータセット上で評価した。
論文 参考訳(メタデータ) (2020-07-21T08:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。