論文の概要: WonderJourney: Going from Anywhere to Everywhere

• arxiv url: http://arxiv.org/abs/2312.03884v2
• Date: Fri, 12 Apr 2024 16:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 19:25:50.690537
• Title: WonderJourney: Going from Anywhere to Everywhere
• Title（参考訳）: WonderJourney: どこにでも行く
• Authors: Hong-Xing Yu, Haoyi Duan, Junhwa Hur, Kyle Sargent, Michael Rubinstein, William T. Freeman, Forrester Cole, Deqing Sun, Noah Snavely, Jiajun Wu, Charles Herrmann,
• Abstract要約: WonderJourneyは、永続的な3Dシーン生成のためのモジュール化されたフレームワークである。 私たちは多様だがコヒーレントに結びついている3Dシーンの長いシリーズを旅していきます。 私たちは、様々なシーンタイプやスタイルにまたがって、魅力的で多様な視覚結果を示し、想像上の「Wonderjourneys」を形成します。
• 参考スコア（独自算出の注目度）: 75.1284367548585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce WonderJourney, a modularized framework for perpetual 3D scene generation. Unlike prior work on view generation that focuses on a single type of scenes, we start at any user-provided location (by a text description or an image) and generate a journey through a long sequence of diverse yet coherently connected 3D scenes. We leverage an LLM to generate textual descriptions of the scenes in this journey, a text-driven point cloud generation pipeline to make a compelling and coherent sequence of 3D scenes, and a large VLM to verify the generated scenes. We show compelling, diverse visual results across various scene types and styles, forming imaginary "wonderjourneys". Project website: https://kovenyu.com/WonderJourney/
• Abstract（参考訳）: 我々は、永続的な3Dシーン生成のためのモジュール化されたフレームワークであるWonderJourneyを紹介する。 単一のタイプのシーンに焦点を当てたビュー生成に関する以前の作業とは異なり、ユーザが提供する場所(テキスト記述や画像)から始めて、多様だが一貫性のある3Dシーンの長いシーケンスを旅する。 我々はLLMを利用して、この旅のシーンのテキスト記述を生成する。テキスト駆動のポイントクラウド生成パイプラインは、魅力的な3Dシーンのコヒーレントなシーケンスを作り、大きなVLMは生成されたシーンを検証する。 我々は、様々なシーンタイプやスタイルにまたがって魅力的な多様な視覚効果を示し、想像上の「Wonderjourneys」を形成している。 Project website: https://kovenyu.com/WonderJourney/

関連論文リスト

• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
  3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-23T17:50:23Z)
• WonderWorld: Interactive 3D Scene Generation from a Single Image [38.83667648993784]
  我々はインタラクティブな3Dシーン生成のための新しいフレームワークWonderWorldを紹介する。 WonderWorldは、単一のA6000 GPU上で10秒未満で接続された多様な3Dシーンを生成する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:10Z)
• Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
  UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。 我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。 実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T11:54:35Z)
• Text2Immersion: Generative Immersive Scene with 3D Gaussians [14.014016090679627]
  Text2Immersionは、テキストプロンプトから高品質な3D没入シーンを生成するためのエレガントな方法である。 我々のシステムは、品質と多様性をレンダリングする他の手法を超越し、テキスト駆動の3Dシーン生成に向けてさらに前進している。
  論文  参考訳（メタデータ） (2023-12-14T18:58:47Z)
• Generating Continual Human Motion in Diverse 3D Scenes [56.70255926954609]
  本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。 我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2023-04-04T18:24:22Z)
• SceneScape: Text-Driven Consistent Scene Generation [14.348512536556413]
  本稿では,事前学習したテキスト・ツー・イメージモデルと事前学習した単眼深度予測モデルを組み合わせることで,このような動画をオンライン形式で生成する新しいフレームワークを提案する。 3次元の整合性を達成するための重要な課題に対処するため、オンラインテストタイムトレーニングを展開、現在のフレームの予測深度マップが合成シーンと幾何的に整合するように促す。 限定的な領域のみに適用できる以前の作品とは対照的に,本手法では,宇宙船や洞窟,あるいは氷の城の歩行など,多様な場面を創出する。
  論文  参考訳（メタデータ） (2023-02-02T14:47:19Z)
• Recognizing Scenes from Novel Viewpoints [99.90914180489456]
  人間は、少数の2Dビューから3Dのシーンを知覚することができる。AIエージェントは、少数の画像しか持たない任意の視点からシーンを認識することで、シーンとそのオブジェクトと効率的に対話することができる。 本稿では,新しいシーンのいくつかのRGB画像を入力として取り込んで,そのシーンを意味カテゴリーに分類することで,新たな視点から認識するモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。