論文の概要: X-Prompt: Towards Universal In-Context Image Generation in Auto-Regressive Vision Language Foundation Models

• arxiv url: http://arxiv.org/abs/2412.01824v1
• Date: Mon, 02 Dec 2024 18:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.721127
• Title: X-Prompt: Towards Universal In-Context Image Generation in Auto-Regressive Vision Language Foundation Models
• Title（参考訳）: X-Prompt: 自己回帰視覚言語基礎モデルにおけるユニバーサルインコンテキスト画像生成を目指して
• Authors: Zeyi Sun, Ziyang Chu, Pan Zhang, Tong Wu, Xiaoyi Dong, Yuhang Zang, Yuanjun Xiong, Dahua Lin, Jiaqi Wang,
• Abstract要約: インコンテキスト生成は、大規模言語モデル(LLM)のオープンタスク一般化機能の重要なコンポーネントである。 X-Promptは純粋に自動回帰型の大規模言語モデルであり、画像生成タスクと見えないタスクの両方で、幅広いパフォーマンスを提供するように設計されている。 テキストと画像の予測を統一したトレーニングタスクにより、X-Promptは、テキスト内の例からタスク認識を強化して、一般的な画像生成を処理できる。
• 参考スコア（独自算出の注目度）: 77.98981338798383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context generation is a key component of large language models' (LLMs) open-task generalization capability. By leveraging a few examples as context, LLMs can perform both in-domain and out-of-domain tasks. Recent advancements in auto-regressive vision-language models (VLMs) built upon LLMs have showcased impressive performance in text-to-image generation. However, the potential of in-context learning for general image generation tasks remains largely unexplored. To address this, we introduce X-Prompt, a purely auto-regressive large-vision language model designed to deliver competitive performance across a wide range of both seen and unseen image generation tasks, all within a unified in-context learning framework. X-Prompt incorporates a specialized design that efficiently compresses valuable features from in-context examples, supporting longer in-context token sequences and improving its ability to generalize to unseen tasks. A unified training task for both text and image prediction enables X-Prompt to handle general image generation with enhanced task awareness from in-context examples. Extensive experiments validate the model's performance across diverse seen image generation tasks and its capacity to generalize to previously unseen tasks.
• Abstract（参考訳）: インコンテキスト生成は、大規模言語モデル(LLM)のオープンタスク一般化機能の重要なコンポーネントである。 コンテキストとしていくつかの例を活用することで、LLMはドメイン内タスクとドメイン外タスクの両方を実行することができる。 LLM上に構築された自動回帰視覚言語モデル(VLM)の最近の進歩は、テキスト・画像生成における顕著な性能を誇示している。 しかし、一般的な画像生成タスクにおける文脈内学習の可能性はほとんど解明されていない。 これを解決するために、X-Promptという、純粋に自己回帰的な大規模言語モデルを導入し、画像生成タスクと画像生成タスクの両方で、それぞれが統合されたコンテキスト内学習フレームワーク内において、競争力を発揮するように設計した。 X-Promptには、コンテキスト内の例から価値ある機能を効率的に圧縮する特別な設計が組み込まれている。 テキストと画像の予測を統一したトレーニングタスクにより、X-Promptは、テキスト内の例からタスク認識を強化して、一般的な画像生成を処理できる。 広範囲にわたる実験により、様々な画像生成タスクにまたがるモデルの性能と、これまで見つからなかったタスクに一般化する能力が検証される。

関連論文リスト

• VisualCloze: A Universal Image Generation Framework via Visual In-Context Learning [68.98988753763666]
  ユニバーサル画像生成フレームワークであるVisualClozeを提案する。 VisualClozeは、幅広いドメイン内タスク、見えないタスクへの一般化、複数のタスクの見えない統一、リバースジェネレーションをサポートする。 グラフ構造化データセットであるGraph200Kを導入し,タスク密度と伝達可能な知識を向上する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:42Z)
• Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
  We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。 我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。 画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
  論文  参考訳（メタデータ） (2025-03-17T17:58:30Z)
• RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models [22.042487298092883]
  RealGeneralは、条件付きフレーム予測タスクとして画像生成を再構成する新しいフレームワークである。 カスタマイズされた生成の被写体類似性が14.5%向上し、キャニー・ツー・イメージの画質が10%向上した。
  論文  参考訳（メタデータ） (2025-03-13T14:31:52Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
  我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。 InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
  論文  参考訳（メタデータ） (2023-09-30T14:26:43Z)
• Generative Modeling for Multi-task Visual Learning [40.96212750592383]
  様々な視覚的認知タスクにおいて有用な共有生成モデルを学ぶという,新しい問題を考える。 本稿では,識別型マルチタスクネットワークと生成ネットワークを結合して,汎用的なマルチタスク指向生成モデリングフレームワークを提案する。 我々のフレームワークは、最先端のマルチタスクアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-06-25T03:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。