論文の概要: ORCA: Hunting Compositional Failures in Text-to-Image Diffusion

• arxiv url: http://arxiv.org/abs/2610.09841v1
• Date: Wed, 07 Oct 2026 11:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.868996
• Title: ORCA: Hunting Compositional Failures in Text-to-Image Diffusion
• Title（参考訳）: ORCA:テキストと画像の拡散における構成的障害の探索
• Abstract要約: テキストエンコーダは、視覚ではなく言語モデリングによって形作られた表現空間において、構成構造を保っていることを示す。 この対応は明示的な訓練信号として提供でき、関連するクロスモーダル情報は、自己監督された視覚的特徴の低ランク部分空間に集中していることを示す。 提案手法であるORCAは,T5とCLIPの埋め込みにおいて学習された残差によって推論ベースがパラメータ化される予測器を介して,凍結した視覚エンコーダから導出される低ランクターゲットに拡散トランスフォーマーの潜時を整列させる。
• 参考スコア（独自算出の注目度）: 2.687944617906212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image diffusion models fail predictably on compositional prompts: attributes bind to the wrong objects, spatial relations invert, and multi-object scenes lose count. Recent architectures already augment CLIP with a T5 encoder precisely because CLIP's contrastive embedding loses compositional structure, yet these failures persist. We argue the binding problem is therefore not one of missing information but of misaligned information: a text encoder preserves compositional structure, but in a representation space shaped by language modelling rather than vision, and the denoising objective does not directly reward aligning the two. We show this correspondence can be supplied as an explicit training signal, that the relevant cross-modal information is concentrated in a low-rank subspace of self-supervised visual features, and that supplying it can be folded into diffusion training as a single auxiliary loss. Our method, ORCA (Orthogonal Residual Compositional Alignment), aligns the latent of a diffusion transformer with a low-rank target derived from a frozen visual encoder, through a predictor whose orthogonal basis is parameterised by a learned residual between T5 and CLIP embeddings, which provides a prompt-dependent signal for selecting the visual readout subspace. We prove that the cross-modal information recoverable at a given rank is bounded by the spectral mass of the visual encoder's covariance in the top components. Across three diffusion-transformer backbones (DiT-B/2, DiT-L/2, U-ViT-L), ORCA improves FID and GenEval over both vanilla and REPA baselines at zero inference-time cost; on DiT-L/2 it reaches FID 16.65 and GenEval 0.291 at 200K steps, exceeding the strongest 400K baseline at half the training cost, with the largest gains concentrated on attribute binding, spatial relations, and multi-object prompts.
• Abstract（参考訳）: テキストと画像の拡散モデルは、間違ったオブジェクトに属性が結合し、空間的関係が逆転し、複数オブジェクトのシーンがカウントを失うという構成的プロンプトで予測的に失敗する。 最近のアーキテクチャではCLIPをT5エンコーダで拡張している。 テキストエンコーダは、構成構造を保存するが、視覚ではなく言語モデリングによって形作られた表現空間において、この2つを一致させることに直接的な報酬を与えない。 この対応は、明示的な訓練信号として提供でき、関連するクロスモーダル情報は、自己監督された視覚特徴の低ランク部分空間に集中しており、その供給を単一の補助的損失として拡散訓練に折り畳むことができることを示す。 我々の手法であるORCA(Orthogonal Residual Compositional Alignment)は、拡散トランスフォーマーの潜伏を、凍結した視覚エンコーダから導出される低ランクのターゲットと整合させ、直交基底がT5とCLIPの埋め込みの学習残差によってパラメータ化され、視覚読出部分空間を選択するための即時依存信号を提供する予測器を介して、予測する。 与えられたランクで回復可能なクロスモーダル情報は、トップコンポーネントにおける視覚エンコーダの共分散のスペクトル質量によって境界づけられていることを証明する。 3つの拡散変圧器のバックボーン(DiT-B/2、DiT-L/2、U-ViT-L)でORCAは、バニラベースラインとREPAベースラインの両方でFIDとGenEvalをゼロ推論時間で改善し、DiT-L/2ではFID 16.65とGenEval 0.291を200Kステップで達成し、最大400Kベースラインをトレーニングコストの半分で上回り、最大のゲインは属性結合、空間関係、マルチオブジェクトプロンプトに集中している。

関連論文リスト

• MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting [8.338732868244707]
  マルチエンコーダセグメンテーションと視覚言語モデル認識を組み合わせた2段階パイプラインを提案する。 人工的なトレーニングデータなしで,Total-Text と ICDAR 2015 で高いパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2026-09-23T23:58:17Z)
• Bridging Modalities and Tasks: A Unified Hierarchical ViT for SAR-to-Optical Translation and Semantic Segmentation [6.274164868115626]
  合成開口レーダ(SAR)画像は、全天候、昼夜の観測能力を有する。 SAR-to-optical (S2O)変換のための生成モデルは視覚的解釈性を改善することができるが、既存の手法は意味構造に関する制約を無視することが多い。 我々は,S2O画像の翻訳とセマンティックセグメンテーションを協調的に最適化する,BMT (Bridging Modalities and Tasks) と呼ばれる統合協調型デュアルタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-04T04:50:19Z)
• Twins: Learn to Predict Unified Representations with Focal Loss [36.63304689132002]
  統一マルチモーダルモデルは、マルチモーダル理解と画像生成の両方をサポートする共有ビジュアルトークン空間を求める。 我々は、同一のトークングリッド上にVTとVAEの機能をチャネル的に連結した、統一された連続トークン空間であるTwinsを提案する。
  論文  参考訳（メタデータ） (2026-07-24T17:59:39Z)
• Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation [54.74045834035952]
  視覚言語データセット蒸留(VLDD)は、大きな画像テキストのペア化されたデータセットを小さな合成ペアに圧縮する。 階層幾何学と明示的なアライメント・キャパシティ制御を組み合わせたランク認識型双曲アライメント(RAHA)を提案する。 RAHAは、競争力のあるクロスモーダル検索と、固定予算下での転送インジケータの改善を示す。
  論文  参考訳（メタデータ） (2026-06-28T15:41:31Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• End-to-End Training for Unified Tokenization and Latent Denoising [82.91537591286554]
  統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-23T17:59:49Z)
• InfSplign: Inference-Time Spatial Alignment of Text-to-Image Diffusion Models [27.206678799411645]
  InfSplignは、テキスト・ツー・イメージ・モデルのためのトレーニング不要な推論時間法である。 除音ステップ毎に複合損失によってノイズを調整することで空間アライメントを改善する。 既存の最強の推論時間ベースラインよりもパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2025-12-19T17:52:43Z)
• Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials [34.77694214755808]
  MHSA(Multi-Head Self-Attention)の代替品であるVCA(Visual-Contrast Attention)を導入する。 VCAは、O(N N C) から O(N n C) への理論複雑性を n N で減少させながら、識別の明示的な概念を注入する。 モジュールはDeiT-Tinyのバックボーンに0.3M以下のパラメータを追加し、追加のFLOPを必要とせず、完全にアーキテクチャに依存しない。
  論文  参考訳（メタデータ） (2025-11-02T07:04:12Z)
• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。 この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。