論文の概要: PanoLlama: Generating Endless and Coherent Panoramas with Next-Token-Prediction LLMs

• arxiv url: http://arxiv.org/abs/2411.15867v1
• Date: Sun, 24 Nov 2024 15:06:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:20:46.176144
• Title: PanoLlama: Generating Endless and Coherent Panoramas with Next-Token-Prediction LLMs
• Title（参考訳）: PanoLlama:次世代LCMによる無限パノラマとコヒーレントパノラマの生成
• Authors: Teng Zhou, Xiaoyu Zhang, Yongchuan Tang,
• Abstract要約: 我々はパノラマ画像生成を再定義する新しいフレームワークであるPanoLlamaを紹介した。 事前学習したLlamaGenアーキテクチャに基づいて、自己回帰的に画像を生成し、サイズ制限に対処するための拡張戦略を開発する。 この方法は、画像トークン構造を作物的にもトレーニング的にも整合し、最小限のシームと最大限のスケーラビリティを備えた高品質なパノラマを実現する。
• 参考スコア（独自算出の注目度）: 10.970010947605289
• License:
• Abstract: Panoramic Image Generation has emerged as an important task in image generation, driven by growing demands for large-scale visuals in creative and technical applications. While diffusion models have dominated this field, they face inherent limitations, including the multilevel-coherence challenge and implementation complexity, leading to suboptimal outcomes. In this paper, we introduce PanoLlama, a novel framework that redefines panoramic image generation as a next-token prediction task. Building on the pre-trained LlamaGen architecture, we generate images in an autoregressive manner and develop an expansion strategy to handle size limitations. This method aligns with the image token structure in a crop-wise and training-free manner, resulting in high-quality panoramas with minimal seams and maximum scalability. PanoLlama demonstrates its effectiveness and versatility in our experiments, achieving the best overall performance while offering flexibility for multi-scale, multi-layout, and multi-guidance generation. It overcomes the challenges that diffusion-based methods fail to address, setting a new paradigm for panoramic image generation tasks. Code is available at https://github.com/0606zt/PanoLlama.
• Abstract（参考訳）: パノラマ画像生成は、創造的および技術的アプリケーションにおける大規模な視覚的要求の増加によって、画像生成において重要なタスクとして登場した。 拡散モデルはこの分野を支配してきたが、多レベルコヒーレンス問題や実装の複雑さなど固有の制約に直面し、最適以下の結果をもたらす。 本稿では,パノラマ画像生成を次世代の予測タスクとして再定義する新しいフレームワークであるPanoLlamaを紹介する。 事前学習したLlamaGenアーキテクチャに基づいて、自己回帰的に画像を生成し、サイズ制限に対処するための拡張戦略を開発する。 この方法は、画像トークン構造を作物的にもトレーニング的にも整合し、最小限のシームと最大限のスケーラビリティを備えた高品質なパノラマを実現する。 PanoLlamaはその有効性と汎用性を示し、マルチスケール、マルチレイアウト、マルチガイダンス生成の柔軟性を提供しながら、全体的なパフォーマンスを最高のものにします。 拡散ベースの手法では対処できない課題を克服し、パノラマ画像生成タスクの新しいパラダイムを設定する。 コードはhttps://github.com/0606zt/PanoLlama.comで入手できる。

関連論文リスト

• Multi-Scale Diffusion: Enhancing Spatial Layout in High-Resolution Panoramic Image Generation [12.588962705218103]
  既存のパノラマ画像生成フレームワークを複数の解像度レベルまで拡張するプラグイン・アンド・プレイモジュールであるMulti-Scale Diffusion(MSD)フレームワークを紹介した。 勾配降下法を利用して,低分解能画像の構造情報を高分解能出力に効果的に組み込む。
  論文  参考訳（メタデータ） (2024-10-24T15:18:51Z)
• ImageFolder: Autoregressive Image Generation with Folded Tokens [51.815319504939396]
  トークン長の増大は、画像再構成の品質を改善するための一般的なアプローチである。 トークン長に関する復元と生成品質の間にはトレードオフがある。 本稿では,自己回帰モデルにおいて折り畳み可能な空間整列型画像トークンを提供するセマンティック・トークンライザであるイメージを提案する。
  論文  参考訳（メタデータ） (2024-10-02T17:06:39Z)
• MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model [49.931663904599205]
  MaVEnは、マルチモーダル大言語モデル(MLLM)のマルチモーダル推論能力を高めるために設計された革新的なフレームワークである。 MaVEnは複雑なマルチイメージのシナリオにおけるMLLMの理解を著しく向上するとともに,単一イメージのコンテキストにおけるパフォーマンスも向上することを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:57:16Z)
• Lumina-mGPT: Illuminate Flexible Photorealistic Text-to-Image Generation with Multimodal Generative Pretraining [48.98105914356609]
  ルミナ-mGPT (Lumina-mGPT) は、様々な視覚と言語を扱える多モード自動回帰モデルのファミリーである。 我々は,Ominiponent Supervised Finetuningを導入し,Lumina-mGPTを全能タスク統一をシームレスに達成する基礎モデルに変換する。
  論文  参考訳（メタデータ） (2024-08-05T17:46:53Z)
• LSReGen: Large-Scale Regional Generator via Backward Guidance Framework [12.408195812609042]
  制御可能な画像生成は 依然として課題です トレーニング、前方指導、後方指導といった現在の手法には、顕著な制限がある。 本稿では,後方誘導の一般的な解釈を提供する新しい制御可能な生成フレームワークを提案する。 本稿では,高品質でレイアウトに適合した画像を生成するための大規模なレイアウト・ツー・イメージ手法であるLSReGenを紹介する。
  論文  参考訳（メタデータ） (2024-07-21T05:44:46Z)
• Obtaining Favorable Layouts for Multiple Object Generation [50.616875565173274]
  大規模なテキスト・ツー・イメージモデルでは、テキスト・プロンプトに基づいて高品質で多様な画像を生成することができる。 しかし、既存の最先端拡散モデルでは、複数の被写体を含む画像を生成する際に困難に直面している。 誘導原理に基づく新しい手法を提案し、拡散モデルが最初にレイアウトを提案し、次にレイアウトグリッドを並べ替えることを可能にする。 これは、提案したマスクに固執するようにクロスアテンションマップ(XAM)を強制し、潜在マップから私たちによって決定された新しい場所へピクセルを移動させることによって達成される。
  論文  参考訳（メタデータ） (2024-05-01T18:07:48Z)
• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation [34.61940502872307]
  MultiDiffusionは、汎用的で制御可能な画像生成を可能にする統一されたフレームワークである。 高品質で多様な画像を生成するために,MultiDiffusionが容易に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-16T06:28:29Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)
• Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening [41.68141846006704]
  本稿では,この問題を緩和するために,基礎的な真理を伴わずに,フルスケールの画像から学習する,教師なしの生成的敵対的枠組みを提案する。 PANおよびMS画像から2ストリーム生成器を用いてモダリティ特異的特徴を抽出し,特徴領域での融合を行い,パンシャープ画像の再構成を行う。 提案手法は,フルスケール画像のパンシャーピング性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-09-20T09:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。