論文の概要: Auto-Regressively Generating Multi-View Consistent Images

• arxiv url: http://arxiv.org/abs/2506.18527v1
• Date: Mon, 23 Jun 2025 11:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.95584
• Title: Auto-Regressively Generating Multi-View Consistent Images
• Title（参考訳）: マルチビュー一貫性画像の自動回帰生成
• Authors: JiaKui Hu, Yuxiao Yang, Jialun Liu, Jinbo Wu, Chen Zhao, Yanye Lu,
• Abstract要約: 任意のプロンプトから一貫した多視点画像を生成するためのMV-AR法を提案する。 複数の条件に対処するために,テキスト,カメラポーズ,画像,形状の条件注入モジュールを導入する。 一貫して一貫したマルチビュー画像を生成するMV-ARの性能と汎用性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 10.513203377236744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating multi-view images from human instructions is crucial for 3D content creation. The primary challenges involve maintaining consistency across multiple views and effectively synthesizing shapes and textures under diverse conditions. In this paper, we propose the Multi-View Auto-Regressive (MV-AR) method, which leverages an auto-regressive model to progressively generate consistent multi-view images from arbitrary prompts. Firstly, the next-token-prediction capability of the AR model significantly enhances its effectiveness in facilitating progressive multi-view synthesis. When generating widely-separated views, MV-AR can utilize all its preceding views to extract effective reference information. Subsequently, we propose a unified model that accommodates various prompts via architecture designing and training strategies. To address multiple conditions, we introduce condition injection modules for text, camera pose, image, and shape. To manage multi-modal conditions simultaneously, a progressive training strategy is employed. This strategy initially adopts the text-to-multi-view (t2mv) model as a baseline to enhance the development of a comprehensive X-to-multi-view (X2mv) model through the randomly dropping and combining conditions. Finally, to alleviate the overfitting problem caused by limited high-quality data, we propose the "Shuffle View" data augmentation technique, thus significantly expanding the training data by several magnitudes. Experiments demonstrate the performance and versatility of our MV-AR, which consistently generates consistent multi-view images across a range of conditions and performs on par with leading diffusion-based multi-view image generation models. Code and models will be released at https://github.com/MILab-PKU/MVAR.
• Abstract（参考訳）: ヒューマンインストラクションからマルチビュー画像を生成することは、3Dコンテンツ作成に不可欠である。 主な課題は、複数のビューにまたがって一貫性を維持し、様々な条件下で形やテクスチャを効果的に合成することである。 本稿では,自動回帰モデルを利用して任意のプロンプトから一貫したマルチビュー画像を生成するマルチビュー自動回帰(MV-AR)手法を提案する。 第一に、ARモデルの次トーケン予測能力は、プログレッシブな多視点合成を促進する効果を著しく向上させる。 広範に分離されたビューを生成する場合、MV-ARは以前のビューを全て利用して効果的な参照情報を抽出することができる。 次に,アーキテクチャ設計とトレーニング戦略を通じて,様々なプロンプトに対応する統一モデルを提案する。 複数の条件に対処するために,テキスト,カメラポーズ,画像,形状の条件注入モジュールを導入する。 マルチモーダル条件を同時に管理するには、プログレッシブトレーニング戦略を採用する。 この戦略は、まずテキスト・ツー・マルチビュー(t2mv)モデルをベースラインとして採用し、ランダムなドロップとコンバインド条件による総合的なX-ツー・マルチビュー(X2mv)モデルの開発を強化する。 最後に,高品質なデータに制限を課したオーバーフィッティング問題を軽減するため,Shuffle Viewデータ拡張手法を提案する。 MV-ARは,様々な条件で一貫した多視点画像を連続的に生成し,主要な拡散型多視点画像生成モデルと同等の性能を示す。 コードとモデルはhttps://github.com/MILab-PKU/MVAR.comで公開される。

関連論文リスト

• Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
  我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。 Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。 実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-08T17:58:57Z)
• Unified Multimodal Discrete Diffusion [78.48930545306654]
  複数のモードをまたいだ理解と生成が可能なマルチモーダル生成モデルは、自己回帰(AR)アプローチによって支配される。 共同テキストと画像領域の統一的な生成形式としての離散拡散モデルについて検討する。 テキストと画像の共同理解・生成が可能なUnified Multimodal Discrete Diffusion (UniDisc) モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-26T17:59:51Z)
• Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining [49.04935506942202]
  ルミナ-mGPT (Lumina-mGPT) は、様々な視覚と言語を扱える多モード自動回帰モデルのファミリーである。 マルチモーダル生成PreTraining (mGPT) を初期化することにより、デコーダのみの自己回帰(AR)モデルが、現代の拡散モデルに匹敵する画像生成性能を実現できることを示す。
  論文  参考訳（メタデータ） (2024-08-05T17:46:53Z)
• Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
  新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:44:04Z)
• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model [19.288610627281102]
  3次元レイアウトで制御されたリアルなマルチビュービデオを生成するために、DrivingDiffusionを提案する。 我々のモデルは複雑な都市のシーンで大規模でリアルなマルチカメラ駆動ビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-10-11T18:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。