論文の概要: T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

• arxiv url: http://arxiv.org/abs/2505.00703v1
• Date: Thu, 01 May 2025 17:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.399136
• Title: T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT
• Title（参考訳）: T2I-R1:協調意味レベルとトークンレベルCoTによる画像生成の強化
• Authors: Dongzhi Jiang, Ziyu Guo, Renrui Zhang, Zhuofan Zong, Hao Li, Le Zhuo, Shilin Yan, Pheng-Ann Heng, Hongsheng Li,
• Abstract要約: 本稿では,強化学習を利用した新たな推論型テキスト・画像生成モデルであるT2I-R1を提案する。 ベースラインモデルであるJanus-Proに推論戦略を適用することで、T2I-CompBenchを13%改善し、WISEベンチマークを19%改善し、優れた性能を実現した。
• 参考スコア（独自算出の注目度）: 73.10972809774039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、チェーン・オブ・シント(CoT)と強化学習(RL)がいかにして性能を向上させるかを実証している。 しかし、このような推論戦略を視覚生成領域に適用することは、まだほとんど未検討である。 本稿では,2段階のCoT推論プロセスを持つRLを用いた新しい推論型テキスト・画像生成モデルであるT2I-R1を提案する。 具体的には,(1)プロンプトの高レベル計画のための意味レベルCoTと,(2)パッチ・バイ・パッチ生成時の低レベル画素処理のためのトークンレベルCoTの2つのレベルを識別する。 これら2つのCoTレベルのコーディネートを改善するため、同じトレーニングステップ内で両世代のCoTをシームレスに最適化する、世代報酬のアンサンブルを備えたBiCoT-GRPOを導入する。 ベースラインモデルであるJanus-Proに推論戦略を適用することで、T2I-CompBenchを13%改善し、WISEベンチマークを19%改善し、最先端モデルのFLUX.1を上回り、優れたパフォーマンスを実現した。 コードは、https://github.com/CaraJ7/T2I-R1で入手できる。

関連論文リスト

• ImageGen-CoT: Enhancing Text-to-Image In-context Learning with Chain-of-Thought Reasoning [89.19449553099747]
  テキスト・ツー・イメージ・インコンテキスト・ラーニング(T2I-ICL)の問題点について検討する。 本稿では、画像生成に先立って、ImageGen-CoTと呼ばれる思考プロセスを組み込んだフレームワークを提案する。 このデータセットを用いてMLLMを微調整し、文脈推論能力を向上する。
  論文  参考訳（メタデータ） (2025-03-25T03:18:46Z)
• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [77.86514804787622]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)
• A Framework For Image Synthesis Using Supervised Contrastive Learning [14.016543383212706]
  テキスト・ツー・イメージ(T2I)生成は、テキスト記述に対応する現実的な画像を作成することを目的としている。 本稿では,ラベルガイド付き教師付きコントラスト学習による内部モーダル対応と内部モーダル対応の両面を活用したフレームワークを提案する。 我々は、単一オブジェクトデータセットCUBと多オブジェクトデータセットCOCOの2つの新しいT2I GANのフレームワークを実証する。
  論文  参考訳（メタデータ） (2024-12-05T08:15:37Z)
• Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding [14.175444025026508]
  大規模言語モデル(LLM)は、チェーン・オブ・シント(CoT)のプロンプトを必要とするタスクにおいて顕著な機能を示した。 完全なCoTプロセスを生成すると、出力シーケンスが大幅に長くなり、推論時の計算コストと遅延が増大する。 セマンティックアライメントによってCoTプロセスを圧縮し、CoT推論の利点を保ちながらより効率的な復号化を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:29:20Z)
• Markovian Transformers for Informative Language Modeling [0.9642500063568188]
  CoT(Chain-of-Thought)推論は、しばしば言語モデルの根底にある決定プロセスを忠実に反映しない。 我々は、CoTを「マルコフ」言語モデルにおいて因果的に必要としており、中間のCoTを通して次のトークン予測を分解し、元のプロンプトとは無関係に将来のトークンを予測するよう訓練する。
  論文  参考訳（メタデータ） (2024-04-29T17:36:58Z)
• A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics [58.83242220266935]
  我々は,T2Iモデルの構成性を評価するためのベンチマークであるWinoground-T2Iを紹介する。 このベンチマークには、20のカテゴリにまたがる11Kの複雑で高品質なコントラスト文ペアが含まれている。 我々は、Winoground-T2Iモデルの性能評価と、その評価に使用される指標の2つの目的を兼ね備えたWinoground-T2Iを用いている。
  論文  参考訳（メタデータ） (2023-12-04T20:47:48Z)
• RLIPv2: Fast Scaling of Relational Language-Image Pre-training [53.21796397618875]
  本稿では,大規模な擬似ラベル付きシーングラフデータに対する事前学習のリレーショナルスケーリングを可能にする高速収束モデルRLIPv2を提案する。 非対称言語画像融合 (ALIF) は、より早く、より深く分岐したクロスモーダル融合と、スパシファイド言語による符号化を容易にする。 RLIPv2は、3つのベンチマークで、完全な微調整、少数ショット、ゼロショット設定で、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-08-18T07:17:09Z)
• LeftRefill: Filling Right Canvas based on Left Reference through Generalized Text-to-Image Diffusion Model [55.20469538848806]
  leftRefillは、参照誘導画像合成のための大規模なテキスト・ツー・イメージ(T2I)拡散モデルを利用する革新的なアプローチである。 本稿では、参照誘導画像合成に大規模なテキスト・ツー・イメージ拡散モデル(T2I)を効果的に活用するための革新的なアプローチであるLeftRefillを紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:29:42Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。