論文の概要: ODC: Orthogonal Drift Correction for Improved Text-to-Image Semantic Alignment at Inference

• arxiv url: http://arxiv.org/abs/2611.00819v1
• Date: Sat, 31 Oct 2026 11:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.434727
• Title: ODC: Orthogonal Drift Correction for Improved Text-to-Image Semantic Alignment at Inference
• Title（参考訳）: ODC: テキストと画像のセマンティックアライメント改善のための直交ドリフト補正
• Abstract要約: 直交ドリフト補正(Orthogonal Drift Correction, ODC)は、意味的ドリフトを軽減するために設計された推論時間誘導法である。 ODCは引き続き即時アライメントを改善し、CLIPスコアを最大5.4%向上させる。 プラグアンドプレイモジュールとして、ODCはテキスト・ツー・イメージモデルの信頼性を向上させるための実用的で効率的な方法を提供している。
• 参考スコア（独自算出の注目度）: 37.73113724086887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image models have achieved remarkable success in generating high-quality images from textual descriptions. However, they often struggle with "semantic drift," where the generated output fails to precisely align with complex or nuanced text prompts. While recent approaches have attempted to address semantic errors regarding attribute binding or object presence, there remains a gap for a more holistic method that addresses these issues by directly refining the text embeddings of the initial user prompt. In this work, we introduce Orthogonal Drift Correction (ODC), an inference-time guidance method designed to mitigate semantic drift without requiring model retraining or additional user inputs. ODC guides image generation through a two-stage process. In the first stage, it identifies the semantic drift by evaluating the initially generated image against the user prompt in a shared vision-language embedding space. It then isolates the component of this drift vector that is orthogonal to the prompt's direction and translates it back into text via a vocabulary-based surrogate mechanism. In the second stage, it produces refined text conditioning for a second generation pass by feeding both the initial text embedding and the re-embedded drift representation into an adaptive rank-reduced concept removal module. Our experiments demonstrate that ODC consistently improves prompt-image alignment, increasing CLIP scores by up to 5.4% over the baseline on the COALBench-300 and PartiPrompts benchmarks. Furthermore, on the T2I-CompBench complex subset, ODC improves the average 3-in-1 score by 4.5% over the competing methods. As a plug-and-play module, ODC offers a practical and efficient method for improving the reliability of text-to-image models. Code is available at https://github.com/kasrakamali/ODC.
• Abstract（参考訳）: テキスト・ツー・イメージのモデルは、テキスト記述から高品質な画像を生成することに成功している。 しかし、彼らはしばしば「セマンティックドリフト」に苦しむが、そこで生成された出力は複雑なテキストプロンプトやニュアンス付きテキストプロンプトと正確に一致しない。 最近のアプローチでは、属性バインディングやオブジェクトの存在に関するセマンティックエラーに対処しようと試みているが、初期ユーザのプロンプトのテキスト埋め込みを直接修正することで、これらの問題に対処するより包括的な方法にはまだギャップが残っている。 本研究では,モデルの再トレーニングやユーザ入力の追加を必要とせず,セマンティックドリフトを緩和する推論時ガイダンス手法であるOrthogonal Drift Correction (ODC)を紹介する。 ODCは2段階のプロセスを通じて画像生成をガイドする。 第1段階では、共有視覚言語埋め込み空間において、ユーザプロンプトに対して初期生成された画像を評価することにより、セマンティックドリフトを特定する。 その後、プロンプトの方向と直交するこのドリフトベクトルの成分を分離し、語彙に基づく代理機構を通じてテキストに変換する。 第2段階では、初期テキスト埋め込みと再埋め込みドリフト表現の両方を適応的なランク低減概念除去モジュールに供給することにより、第2世代パスのための洗練されたテキストコンディショニングを生成する。 実験の結果,OCCは,COALBench-300およびPartiPromptsベンチマークのベースライン上で,CLIPスコアを最大5.4%向上する。 さらに、T2I-CompBench複素部分集合では、ODCは競合する手法よりも平均3-in-1スコアを4.5%改善する。 プラグアンドプレイモジュールとして、ODCはテキスト・ツー・イメージモデルの信頼性を向上させるための実用的で効率的な方法を提供している。 コードはhttps://github.com/kasrakamali/ODC.comで入手できる。

関連論文リスト

• How Modality Shapes Perception and Reasoning: A Study of Error Propagation in ARC-AGI [7.226300346775942]
  ARC-AGIとARC-AGI-2は、小さな色量子格子上の一般化スルー合成を測定する。 最近の命令ファーストシステムは、グリッドを生成-実行-選択ループで実行される簡潔な自然言語またはDSLルールに変換する。
  論文  参考訳（メタデータ） (2025-11-11T19:06:41Z)
• Aligning Text to Image in Diffusion Models is Easier Than You Think [47.623236425067326]
  SoftREPAは、表現アライメントにソフトテキストトークンを活用する軽量でコントラスト的な微調整戦略である。 本手法は,テキストと画像表現間の相互情報を明示的に増大させ,意味的一貫性を向上させる。
  論文  参考訳（メタデータ） (2025-03-11T10:14:22Z)
• Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
  本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。 提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
  論文  参考訳（メタデータ） (2023-08-19T05:34:13Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。