論文の概要: FLAT: Resampling Image and Text into 1D Flexible-Length Aligned Transmodal Tokens for Retrieval and Generation

• arxiv url: http://arxiv.org/abs/2609.16591v1
• Date: Tue, 15 Sep 2026 03:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.330094
• Title: FLAT: Resampling Image and Text into 1D Flexible-Length Aligned Transmodal Tokens for Retrieval and Generation
• Title（参考訳）: FLAT:画像とテキストを1Dフレキシブルな長さのトランスモーダルトークンに再利用して検索と生成
• Abstract要約: Flatは、共有マルチモーダルエンコーダと、下流のテキスト・トゥ・イメージ(T2I)と画像・トゥ・テキスト(I2T)デコーダを共同で最適化する、表現事前トレーニングフレームワークである。 単一の事前学習段階により、FLATは可変プレフィックスKをまたいでクロスモーダル検索および生成を行い、T2I GenEvalスコア71.1を達成する。
• 参考スコア（独自算出の注目度）: 29.59094476146176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional multimodal representation learning and generation are two stages: a contrastive or self-supervised visual encoder is trained first, followed by a separate downstream generative model. This setup bottlenecks generative performance behind frozen embeddings. To bridge this gap, we revisit joint multimodal representation learning and generation to produce linearly interpolatable embeddings that are directly consumable by generative decoders. We present FLAT (Flexible-Length Aligned Transmodal representations), a representation pre-training framework that jointly optimizes a shared multimodal encoder alongside downstream text-to-image (T2I) and image-to-text (I2T) decoders. By combining contrastive alignment with bidirectional cross-modal generative objectives, FLAT ensures its representations function as both discriminative semantic descriptors and generative conditions. Architecturally, FLAT maps visual and textual inputs into a unified continuous 1D sequence space, applying nested dropout over prefix-K tokens to enable dynamic output lengths. A single pre-training stage allows FLAT to perform cross-modal retrieval and generation across variable prefix K, achieving a T2I GenEval score of 71.1. Task-specific fine-tuning aligns model performance with state-of-the-art baselines: 83.1 GenEval on T2I generation; 40.5 BLEU-4 and 138.6 CIDEr on MS-COCO image captioning; and Recall@5 scores of 86.8 (I2T) / 75.8 (T2I) on MS-COCO alongside 98.3 (I2T) / 93.6 (T2I) on Flickr30K. Finally, qualitative evaluations demonstrate that FLAT representations natively support linear interpolation, latent space arithmetic, and zero-shot composed retrieval.
• Abstract（参考訳）: 従来のマルチモーダル表現学習と生成には2つの段階がある。 このセットアップは、凍結した埋め込みの背後で生成的なパフォーマンスをボトルネックにする。 このギャップを埋めるために、我々は共同マルチモーダル表現学習と生成を再考し、生成デコーダによって直接消費される線形補間可能な埋め込みを生成する。 FLAT(Flexible-Length Aligned Transmodal representations)は、共有マルチモーダルエンコーダを下流のテキスト・トゥ・イメージ(T2I)と画像・トゥ・テキスト・デコーダ(I2T)とともに共同で最適化する、表現事前学習フレームワークである。 対照的なアライメントと双方向の相互モーダルな生成目的を組み合わせることで、FLATはその表現を識別的意味記述子と生成条件の両方として機能させる。 アーキテクチャ上、FLATは視覚とテキストの入力を統一された連続した1Dシーケンス空間にマッピングし、プレフィックスKトークンにネストしたドロップアウトを適用して動的な出力長を実現する。 単一の事前学習段階により、FLATは可変プレフィックスKをまたいでクロスモーダル検索および生成を行い、T2I GenEvalスコア71.1を達成する。 T2Iの83.1 GenEval、40.5BLEU-4と138.6 CIDErのMS-COCOイメージキャプション、Recall@5スコアの86.8 (I2T) / 75.8 (T2I)と、Flickr30Kの98.3 (I2T) / 93.6 (T2I)である。 最後に, FLAT表現が線形補間, 潜在空間演算, ゼロショット合成検索をネイティブにサポートすることを示す。

関連論文リスト

• Coupled Continuous-Discrete Generation for Scene Text Image Super-Resolution [51.31474187379532]
  Scene Text Image Super- resolution (STISR) は、劣化した入力から文字の意味を保ちながら、視覚的に可視な外観を回復することを目的としている。 本稿では,STISRを連成連続離散生成として定式化する統合フレームワークであるDualTSRを提案する。 条件付きフローマッチングは連続した画像ラテントを復元し、吸収状態の離散拡散はテキストトークンを再構成する。
  論文  参考訳（メタデータ） (2026-08-05T06:57:30Z)
• Imagine Before You Draw: Visual Prompt Engineering for Image Generation [67.81347924426714]
  内部フレームワークにシームレスに統合可能なVisual Prompt Engineering (VPE)を提案する。 我々は,クラス条件生成,テキスト・ツー・イメージ生成,画像編集にまたがってVPEを検証する。 その結果, VPEはコンバージェンスを加速し, 天井の質を高め, 内部統合により, 編集保存性を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-06-03T05:01:36Z)
• STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation [56.964292897565024]
  自己回帰正規化フローを示し,LLMと同じ因果マスク,KV-cache機構,左右構造を共有する。 我々は、画像生成およびマルチモーダル理解ベンチマークにおける強力な性能を示し、統合マルチモーダルモデリングの基盤として自己回帰フローを検証した。
  論文  参考訳（メタデータ） (2026-05-08T17:14:43Z)
• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• End-to-End Training for Unified Tokenization and Latent Denoising [82.91537591286554]
  統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-23T17:59:49Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。