論文の概要: JEPA-T: Joint-Embedding Predictive Architecture with Text Fusion for Image Generation

• arxiv url: http://arxiv.org/abs/2510.00974v1
• Date: Wed, 01 Oct 2025 14:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.622281
• Title: JEPA-T: Joint-Embedding Predictive Architecture with Text Fusion for Image Generation
• Title（参考訳）: JEPA-T: 画像生成のためのテキスト融合による統合埋め込み予測アーキテクチャ
• Authors: Siheng Wan, Zhengtao Yao, Zhengdao Li, Junhao Dong, Yanshu Li, Yikai Li, Linshan Li, Haoyan Xu, Yijiang Li, Zhikang Dong, Huacan Wang, Jifeng Shen,
• Abstract要約: 画像とキャプションを個別の視覚的およびテキスト的トークンに符号化する統合マルチモーダルフレームワークを提案する。 タスク非依存のバックボーンを維持しながら条件付き認知のための特徴予測器のクロスアテンションを組み込んだ。 提案手法は, トークンベースのT2Iにおいて, 遅延アーキテクチャ融合と目的レベルのアライメントを組み合わせることで, コンディショニング強度とバックボーンの汎用性とを効果的にバランスできることを示す。
• 参考スコア（独自算出の注目度）: 10.00677022779314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Text-to-Image (T2I) generation increasingly relies on token-centric architectures that are trained with self-supervision, yet effectively fusing text with visual tokens remains a challenge. We propose \textbf{JEPA-T}, a unified multimodal framework that encodes images and captions into discrete visual and textual tokens, processed by a joint-embedding predictive Transformer. To enhance fusion, we incorporate cross-attention after the feature predictor for conditional denoising while maintaining a task-agnostic backbone. Additionally, raw texts embeddings are injected prior to the flow matching loss to improve alignment during training. During inference, the same network performs both class-conditional and free-text image generation by iteratively denoising visual tokens conditioned on text. Evaluations on ImageNet-1K demonstrate that JEPA-T achieves strong data efficiency, open-vocabulary generalization, and consistently outperforms non-fusion and late-fusion baselines. Our approach shows that late architectural fusion combined with objective-level alignment offers an effective balance between conditioning strength and backbone generality in token-based T2I.The code is now available: https://github.com/justin-herry/JEPA-T.git
• Abstract（参考訳）: 現代のテキスト・トゥ・イメージ(T2I)生成は、自己スーパービジョンで訓練されたトークン中心のアーキテクチャにますます依存している。 本稿では,画像とキャプションを個別の視覚的およびテキスト的トークンにエンコードする統合マルチモーダルフレームワークである‘textbf{JEPA-T} を提案する。 統合性を高めるため,タスク非依存のバックボーンを維持しながら条件記述のための特徴予測器にクロスアテンションを組み込んだ。 さらに、フローマッチング損失の前に、生テキストの埋め込みを注入し、トレーニング中のアライメントを改善する。 推論中、同じネットワークは、テキスト上で条件付けられた視覚トークンを反復的に識別することで、クラス条件および自由テキスト画像の生成を実行する。 ImageNet-1Kの評価によると、JEPA-Tは強力なデータ効率、オープン語彙の一般化を実現し、非核融合とレイトフュージョンベースラインを一貫して上回っている。 我々のアプローチは、トークンベースのT2Iの条件付け強度とバックボーンの汎用性とを効果的にバランスさせることで、アーキテクチャの後期融合と目的レベルのアライメントが組み合わされたことを示しています。

関連論文リスト

• Qwen-Image Technical Report [86.46471547116158]
  Qwen-Imageは複雑なテキストのレンダリングと正確な画像編集において大きな進歩を遂げた画像生成基盤モデルである。 我々は、大規模なデータ収集、フィルタリング、アノテーション、合成、バランスを含む包括的なデータパイプラインを設計する。 Qwen-Imageは、英語のようなアルファベットの言語で非常によく機能し、中国語のようなより挑戦的なログラフ言語でも顕著な進歩を遂げている。
  論文  参考訳（メタデータ） (2025-08-04T11:49:20Z)
• Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
  マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。 マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。 本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
  論文  参考訳（メタデータ） (2025-06-09T17:54:04Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• An Intermediate Fusion ViT Enables Efficient Text-Image Alignment in Diffusion Models [18.184158874126545]
  異なる融合戦略が視覚言語アライメントにどのように影響するかを検討する。 特別に設計された中間融合により、テキストと画像のアライメントが向上し、生成品質が向上する。 このモデルでは, FLOPを20%削減し, トレーニング速度を50%向上させるとともに, より高いCLIPスコアと低いFIDを実現する。
  論文  参考訳（メタデータ） (2024-03-25T08:16:06Z)
• A Layer-Wise Tokens-to-Token Transformer Network for Improved Historical Document Image Enhancement [13.27528507177775]
  Tokens-to-token Vision Transformer に基づく新しい文書バイナライゼーション・エンコーダ・デコーダアーキテクチャである textbfT2T-BinFormer を提案する。 様々なDIBCOおよびH-DIBCOベンチマークの実験により、提案モデルは既存のCNNおよびViTベースの最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-06T23:01:11Z)
• Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency [47.3163261953469]
  現在の視覚言語生成モデルは、最適な性能と一般化能力を達成するために、ペア画像テキストデータの拡張コーパスに依存している。 サイクル整合性の概念に基づく革新的なトレーニングパラダイムであるITITを導入する。 ITITは、分離された画像とテキストデコーダを備えたジョイントな画像テキストエンコーダで構成され、単一のフレームワークで双方向の画像テキスト生成とテキスト画像生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-05T17:55:19Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)
• DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
  本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。 また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。 現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
  論文  参考訳（メタデータ） (2020-08-13T12:51:17Z)
• TIME: Text and Image Mutual-Translation Adversarial Networks [55.1298552773457]
  テキストと画像相互変換対応ネットワーク(TIME)を提案する。 TIMEは、T2IジェネレータGと画像キャプション識別器Dをジェネレータネットワークフレームワークで学習する。 実験では、TIMEはCUBおよびMS-COCOデータセット上での最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2020-05-27T06:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。