論文の概要: Intermediate Text Representation Guided Text-to-Image Generation for Enhancing One-and-Only Alignment

• arxiv url: http://arxiv.org/abs/2606.30262v1
• Date: Mon, 29 Jun 2026 13:09:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.241753
• Title: Intermediate Text Representation Guided Text-to-Image Generation for Enhancing One-and-Only Alignment
• Title（参考訳）: ワン・ワン・オン・アライメント向上のための中間テキスト表現ガイド付きテキスト・ツー・イメージ生成
• Abstract要約: Text-to-image (T2I) 拡散モデルは、しばしば明示的なテキスト記述を忠実にレンダリングできない。 このようなバイアスは、単一標準形に存在する一対一(OAO)オブジェクトに対して特に強いことを示す。 本稿では,テキストエンコーダの中間隠蔽状態を条件付き信号に注入する中間テキスト表現(IR)誘導拡散法を提案する。
• 参考スコア（独自算出の注目度）: 38.791362032235995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image (T2I) diffusion models often fail to faithfully render explicit textual descriptions, instead defaulting to strongly learned visual priors due to a phenomenon referred to as concept association bias. We show that such bias is particularly strong for one-and-only (OAO) objects, entities that exist in a single canonical form, such as celestial bodies, landmarks, and artworks. The deeply ingrained visual identity for these concepts often resists modification through prompting alone. Addressing this challenge, we first identify through an information-theoretic analysis that the final text embedding discards concept-level information present in the intermediate-layer text representations, reducing the mutual information available to the subsequent denoising process. We then propose Intermediate Text Representation (IR)-guided diffusion, which injects intermediate hidden states of the text encoder into the conditioning signal during early denoising steps, recovering suppressed concepts without any additional training, optimization, or external models. To systematically evaluate the challenging task of aligning generative outputs with unusual prompts for OAO objects, we introduce OAO-AttackBench, a benchmark comprising counterfactual prompts that directly conflict with the core visual identity of OAO objects. Experiments on four benchmarks, including OAO-AttackBench, show that our method achieves up to a 19.1 percentage-point improvement in VQAScore while preserving generation fidelity and human preference. Project page: https://soyoun-won.github.io/one-and-only-ir-guidance/.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは、しばしば明示的なテキスト記述を忠実にレンダリングせず、代わりに概念関連バイアス(concept association bias)と呼ばれる現象のために、強く学習された視覚的先入観にデフォルトを与える。 このようなバイアスは、天体、ランドマーク、アートワークなどの単一の正準形式に存在する一対一(OAO)オブジェクトに対して特に強いことを示す。 これらの概念の深い視覚的同一性は、しばしば単独で変化を起こすことで抵抗する。 この課題に対処するために、私たちはまず、最終テキスト埋め込みが中間層テキスト表現に存在する概念レベル情報を破棄する情報理論の分析を通して、その後の復調プロセスで利用可能な相互情報を減少させる。 次に、初期復調段階においてテキストエンコーダの中間隠れ状態を条件付け信号に注入し、追加の訓練、最適化、外部モデルなしで抑圧された概念を復元する中間テキスト表現(IR)誘導拡散法を提案する。 OAOオブジェクトにおける生成出力を異常なプロンプトと整合させるという課題を体系的に評価するために,OAOオブジェクトの中核的な視覚的アイデンティティと直接競合する反実的プロンプトからなるベンチマークであるOAO-AttackBenchを紹介する。 OAO-AttackBenchを含む4つのベンチマーク実験により,VQAScoreの精度を最大19.1ポイント向上し,生成精度と人間の嗜好を維持した。 プロジェクトページ:https://soyoun-won.github.io/one-and-only-ir-guidance/。

関連論文リスト

• Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
  我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。 これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。 複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2026-09-09T09:07:40Z)
• DocShield: Towards AI Document Safety via Evidence-Grounded Agentic Reasoning [40.557106473604485]
  既存の法医学的手法は視覚的手がかりに依存しており、微妙なテキスト操作を明らかにするための証拠に基づく推論が欠如している。 本稿では,テキスト中心の偽造分析を視覚学的共推論問題として定式化した最初の統合フレームワークであるDocShieldを提案する。 私たちのデータセット、モデル、コードは公開されます。
  論文  参考訳（メタデータ） (2026-04-03T03:38:58Z)
• TINA: Text-Free Inversion Attack for Unlearned Text-to-Image Diffusion Models [92.56562999211809]
  テキスト中心のパラダイムは、消去とテキスト・ツー・イメージマッピングの厳密さを同一視し、望ましくない概念に関する基礎となる視覚的知識が今も続いていることを無視する。 我々は、この視覚のみのプローブをNull-text条件下で動作させることで、新しいテキストフリーのインバージョンアタックであるTinaを紹介する。 我々の実験では、Tinaは最先端の未学習モデルから消去された概念を再生することを示した。
  論文  参考訳（メタデータ） (2026-03-18T15:25:03Z)
• Localized Concept Erasure in Text-to-Image Diffusion Models via High-Level Representation Misdirection [7.863370847022858]
  本稿では,テキストエンコーダにおけるハイレベルな意味表現を指定されたベクトルに対して誤って誘導するハイレベル表現ミスダイレクト(HiRM)を提案する。 我々の戦略は、無関係な概念に対する最小限の影響で正確な概念除去を可能にする。 また、HIRMは、低コストで生成ユーティリティを保存し、Fluxのような最先端のアーキテクチャに追加のトレーニングなしで移行し、デノイザベースの概念消去手法と相乗効果を示す。
  論文  参考訳（メタデータ） (2026-02-23T09:18:27Z)
• M-ErasureBench: A Comprehensive Multimodal Evaluation Benchmark for Concept Erasure in Diffusion Models [13.885985776728559]
  M-ErasureBenchは、3つの入力モードで概念消去メソッドをベンチマークする新しいフレームワークである。 IRECEはプラグイン・アンド・プレイのモジュールで、クロスアテンションを通じてターゲットのコンセプトをローカライズし、ノイズ発生時に関連する潜伏者を摂動させる。
  論文  参考訳（メタデータ） (2025-12-28T10:58:36Z)
• JEPA-T: Joint-Embedding Predictive Architecture with Text Fusion for Image Generation [10.00677022779314]
  画像とキャプションを個別の視覚的およびテキスト的トークンに符号化する統合マルチモーダルフレームワークを提案する。 タスク非依存のバックボーンを維持しながら条件付き認知のための特徴予測器のクロスアテンションを組み込んだ。 提案手法は, トークンベースのT2Iにおいて, 遅延アーキテクチャ融合と目的レベルのアライメントを組み合わせることで, コンディショニング強度とバックボーンの汎用性とを効果的にバランスできることを示す。
  論文  参考訳（メタデータ） (2025-10-01T14:51:10Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。