論文の概要: FlowTok: Flowing Seamlessly Across Text and Image Tokens

• arxiv url: http://arxiv.org/abs/2503.10772v1
• Date: Thu, 13 Mar 2025 18:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:41.634862
• Title: FlowTok: Flowing Seamlessly Across Text and Image Tokens
• Title（参考訳）: FlowTok: テキストと画像トークンをシームレスに流れる
• Authors: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen,
• Abstract要約: FlowTokは、コンパクトな1Dトークン表現に画像をエンコードすることで、テキストとイメージをシームレスに流れるフレームワークである。 256の解像度で遅延空間のサイズを3.3倍に減らし、複雑な条件付け機構やノイズスケジューリングを必要としない。 コンパクトな1Dトークンを中心にした合理化アーキテクチャにより、FlowTokはメモリ効率が高く、トレーニングリソースが大幅に少なくなり、より高速なサンプリング速度を実現し、最先端のモデルに匹敵するパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 20.629139911638646
• License:
• Abstract: Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.
• Abstract（参考訳）: 異なるモダリティをブリッジすることは、モダリティ生成の中心にある。 従来の手法では、ガウス雑音から目標画像への除音過程を徐々に誘導する条件付け信号としてテキストモダリティを扱うが、フローマッチングによりテキストと画像のモダリティの間では、より単純なパラダイム的に進化する。 テキストは高度に意味があり、1Dトークンとしてエンコードされるが、画像は空間的に冗長であり、2D潜在埋め込みとして表現される。 この問題に対処するために,画像からコンパクトな1Dトークン表現に変換することで,テキストとイメージをシームレスに流れる最小限のフレームワークであるFlowTokを紹介した。 従来の手法と比較して、この設計は256の解像度で遅延空間のサイズを3.3倍に減らし、複雑な条件付け機構やノイズスケジューリングの必要性をなくした。 さらに、FlowTokは同じ定式化の下で自然に画像からテキスト生成に拡張する。 コンパクトな1Dトークンを中心にした合理化アーキテクチャにより、FlowTokはメモリ効率が高く、トレーニングリソースが大幅に少なくなり、より高速なサンプリング速度を実現し、最先端のモデルに匹敵するパフォーマンスを提供する。 コードはhttps://github.com/bytedance/1d-tokenizer.comから入手できる。

関連論文リスト

• Training-free Composite Scene Generation for Layout-to-Image Synthesis [29.186425845897947]
  本稿では,拡散条件下での対角的意味交叉を克服するために,新しい学習自由アプローチを提案する。 本稿では,(1)トークン競合を解消し,正確な概念合成を保証するためのトークン間制約,2)画素間関係を改善する自己注意制約,という2つの革新的な制約を提案する。 本評価では,拡散過程の導出にレイアウト情報を活用することで,忠実度と複雑さを向上したコンテンツリッチな画像を生成することの有効性を確認した。
  論文  参考訳（メタデータ） (2024-07-18T15:48:07Z)
• Language-Oriented Semantic Latent Representation for Image Transmission [38.62941652189033]
  意味コミュニケーション(SC)の新しいパラダイムは、ビットの背後にある意味の提供に焦点を当てている。 データ・テキスト・モデルの最近の進歩は言語指向のSCを促進する。 テキストと圧縮画像の埋め込みの両方を通信する新しいSCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:41:31Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images [56.17404812357676]
  テキストと画像の合成に使用される生成モデルである安定拡散は、様々なサイズの画像を生成する際にしばしば構成問題に遭遇する。 そこで我々は,任意の大きさの画像を効率よく生成するために,Any-Size-Diffusion (ASD) という2段階のパイプラインを提案する。 ASDは任意のサイズの画像を生成することができ、従来のタイル付きアルゴリズムと比較して推論時間を2倍削減できることを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:27:56Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)
• Spatially-Adaptive Pixelwise Networks for Fast Image Translation [57.359250882770525]
  高速かつ効率的な画像-画像変換を目的とした新しいジェネレータアーキテクチャを提案する。 私たちはピクセルワイズネットワークを使用します。つまり、各ピクセルは他のピクセルとは独立して処理されます。 私たちのモデルは最先端のベースラインよりも最大18倍高速です。
  論文  参考訳（メタデータ） (2020-12-05T10:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。