論文の概要: RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models

• arxiv url: http://arxiv.org/abs/2503.10406v1
• Date: Thu, 13 Mar 2025 14:31:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:37.318212
• Title: RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models
• Title（参考訳）: RealGeneral: ビデオモデルによる時間内インコンテキスト学習による視覚生成の統合
• Authors: Yijing Lin, Mengqi Huang, Shuhan Zhuang, Zhendong Mao,
• Abstract要約: RealGeneralは、条件付きフレーム予測タスクとして画像生成を再構成する新しいフレームワークである。 カスタマイズされた生成の被写体類似性が14.5%向上し、キャニー・ツー・イメージの画質が10%向上した。
• 参考スコア（独自算出の注目度）: 22.042487298092883
• License:
• Abstract: Unifying diverse image generation tasks within a single framework remains a fundamental challenge in visual generation. While large language models (LLMs) achieve unification through task-agnostic data and generation, existing visual generation models fail to meet these principles. Current approaches either rely on per-task datasets and large-scale training or adapt pre-trained image models with task-specific modifications, limiting their generalizability. In this work, we explore video models as a foundation for unified image generation, leveraging their inherent ability to model temporal correlations. We introduce RealGeneral, a novel framework that reformulates image generation as a conditional frame prediction task, analogous to in-context learning in LLMs. To bridge the gap between video models and condition-image pairs, we propose (1) a Unified Conditional Embedding module for multi-modal alignment and (2) a Unified Stream DiT Block with decoupled adaptive LayerNorm and attention mask to mitigate cross-modal interference. RealGeneral demonstrates effectiveness in multiple important visual generation tasks, e.g., it achieves a 14.5% improvement in subject similarity for customized generation and a 10% enhancement in image quality for canny-to-image task. Project page: https://lyne1.github.io/RealGeneral/
• Abstract（参考訳）: 単一のフレームワーク内で多様な画像生成タスクを統合することは、ビジュアル生成における根本的な課題である。 大規模言語モデル(LLM)はタスクに依存しないデータと生成を通じて統一を実現するが、既存のビジュアル生成モデルはこれらの原則を満たさない。 現在のアプローチでは、タスク毎のデータセットと大規模なトレーニング、あるいはタスク固有の修正による事前トレーニング済みイメージモデルの適用、一般化可能性の制限のいずれかが採用されている。 本研究では、時間相関をモデル化する固有の能力を活用し、映像モデルを統合画像生成の基礎として探求する。 本稿では,LLMにおける文脈内学習に類似した条件付きフレーム予測タスクとして,画像生成を再構成する新しいフレームワークであるRealGeneralを紹介する。 映像モデルと条件像ペア間のギャップを埋めるため,(1)マルチモーダルアライメントのための統一条件埋め込みモジュール,(2)適応層Normとアテンションマスクを分離した統一ストリームDiTブロックを提案する。 RealGeneralは、複数の重要な視覚生成タスクにおいて有効性を示し、例えば、カスタマイズされた生成における被写体類似性は14.5%向上し、キャニー・ツー・イメージタスクにおける画像品質は10%向上した。 プロジェクトページ: https://lyne1.github.io/RealGeneral/

関連論文リスト

• EditAR: Unified Conditional Generation with Autoregressive Models [58.093860528672735]
  本稿では,条件付き画像生成タスクのための単一の統合自己回帰フレームワークであるEditARを提案する。 このモデルは、画像と命令の両方を入力として取り、バニラの次のパラダイムで編集された画像トークンを予測する。 確立されたベンチマークにおいて,様々なタスクにまたがる実効性を評価し,様々なタスク固有の手法に対する競争性能を示す。
  論文  参考訳（メタデータ） (2025-01-08T18:59:35Z)
• X-Prompt: Towards Universal In-Context Image Generation in Auto-Regressive Vision Language Foundation Models [77.98981338798383]
  インコンテキスト生成は、大規模言語モデル(LLM)のオープンタスク一般化機能の重要なコンポーネントである。 X-Promptは純粋に自動回帰型の大規模言語モデルであり、画像生成タスクと見えないタスクの両方で、幅広いパフォーマンスを提供するように設計されている。 テキストと画像の予測を統一したトレーニングタスクにより、X-Promptは、テキスト内の例からタスク認識を強化して、一般的な画像生成を処理できる。
  論文  参考訳（メタデータ） (2024-12-02T18:59:26Z)
• Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation [52.509092010267665]
  我々はLlamaGenを紹介した。LlamaGenは画像生成モデルの新しいファミリーで、視覚生成ドメインに対して、大規模言語モデルのオリジナルの次世代予測のパラダイムを適用している。 これは、例えば、視覚信号に誘導バイアスのないバニラ自己回帰モデルが、適切にスケーリングすれば最先端の画像生成性能を達成できるかどうか、肯定的な答えである。
  論文  参考訳（メタデータ） (2024-06-10T17:59:52Z)
• MaxFusion: Plug&Play Multi-Modal Generation in Text-to-Image Diffusion Models [34.611309081801345]
  大規模な拡散ベースのテキスト・ツー・イメージ(T2I)モデルでは、テキスト・ツー・イメージ生成に印象的な生成能力がある。 本稿では,最小限の計算量で新しいタスクにまたがって生成モデルを拡張するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T17:55:56Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。