論文の概要: Focus on Neighbors and Know the Whole: Towards Consistent Dense Multiview Text-to-Image Generator for 3D Creation

• arxiv url: http://arxiv.org/abs/2408.13149v2
• Date: Mon, 26 Aug 2024 11:05:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 12:32:31.074618
• Title: Focus on Neighbors and Know the Whole: Towards Consistent Dense Multiview Text-to-Image Generator for 3D Creation
• Title（参考訳）: 隣人に着目して全体を知る:3次元創造のための一貫性のあるマルチビューテキスト・ツー・イメージ・ジェネレータを目指して
• Authors: Bonan Li, Zicheng Zhang, Xingyi Yang, Xinchao Wang,
• Abstract要約: CoSERは、テキストから3Dへの一貫した高密度テキスト・ツー・イメージ・ジェネレータである。 隣人のビューコヒーレンスを巧みに学習することで効率と品質を両立させる。 物理原理によって明確に定義された運動経路に沿って情報を集約し、詳細を洗練させる。
• 参考スコア（独自算出の注目度）: 64.07560335451723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating dense multiview images from text prompts is crucial for creating high-fidelity 3D assets. Nevertheless, existing methods struggle with space-view correspondences, resulting in sparse and low-quality outputs. In this paper, we introduce CoSER, a novel consistent dense Multiview Text-to-Image Generator for Text-to-3D, achieving both efficiency and quality by meticulously learning neighbor-view coherence and further alleviating ambiguity through the swift traversal of all views. For achieving neighbor-view consistency, each viewpoint densely interacts with adjacent viewpoints to perceive the global spatial structure, and aggregates information along motion paths explicitly defined by physical principles to refine details. To further enhance cross-view consistency and alleviate content drift, CoSER rapidly scan all views in spiral bidirectional manner to aware holistic information and then scores each point based on semantic material. Subsequently, we conduct weighted down-sampling along the spatial dimension based on scores, thereby facilitating prominent information fusion across all views with lightweight computation. Technically, the core module is built by integrating the attention mechanism with a selective state space model, exploiting the robust learning capabilities of the former and the low overhead of the latter. Extensive evaluation shows that CoSER is capable of producing dense, high-fidelity, content-consistent multiview images that can be flexibly integrated into various 3D generation models.
• Abstract（参考訳）: 高忠実度3Dアセットを作成するためには,テキストプロンプトから高密度なマルチビュー画像を生成することが不可欠である。 それでも、既存の手法はスペースビュー対応に苦慮し、スパースと低品質の出力をもたらす。 本稿では,テキストから3Dへの一貫したテキスト・ツー・イメージ・ジェネレータであるCoSERを紹介する。 隣接する視点の一貫性を達成するために、各視点は隣接する視点と密接な相互作用を行い、グローバル空間構造を知覚し、物理的原理によって明確に定義された運動経路に沿って情報を集約し、詳細を洗練させる。 さらに、クロスビューの一貫性を高め、コンテンツドリフトを軽減するため、CoSERは、すべてのビューをスパイラルな双方向で素早くスキャンし、全体的情報を認識し、セマンティック素材に基づいて各ポイントをスコアする。 その後、スコアに基づいて空間次元に沿って重み付けされたダウンサンプリングを行い、軽量な計算で全てのビューをまたがる顕著な情報融合を容易にする。 技術的には、コアモジュールはアテンション機構と選択状態空間モデルを統合することで構築され、前者の堅牢な学習能力と後者の低オーバーヘッドを活用する。 広範評価の結果,CoSERは高精細・高精細・高精細・高精細・高精細なマルチビュー画像を生成することができ,様々な3次元モデルに柔軟に統合できることがわかった。

関連論文リスト

• BIFRÖST: 3D-Aware Image compositing with Language Instructions [27.484947109237964]
  Bifr"ostは、命令ベースの画像合成を実行するために拡散モデルに基づいて構築された、新しい3D対応フレームワークである。 Bifr"ostは、MLLMを2.5D位置予測器として訓練し、デプスマップを生成プロセス中に余分な条件として統合することで問題に対処する。
  論文  参考訳（メタデータ） (2024-10-24T18:35:12Z)
• Dense Multimodal Alignment for Open-Vocabulary 3D Scene Understanding [39.55810156545949]
  本稿では,多モードアライメント(Multimodal Alignment, DMA)フレームワークを提案する。 DMA法は,屋内および屋外の様々なタスクにおいて,高い競争力を持つオープン語彙セグメンテーション性能を実現する。
  論文  参考訳（メタデータ） (2024-07-13T05:39:17Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• ViewFormer: Exploring Spatiotemporal Modeling for Multi-View 3D Occupancy Perception via View-Guided Transformers [9.271932084757646]
  3Dの占有は、前景と背景を物理的空間で区別することなく、全体のシーンをグリッドマップに表現する。 本稿では,効果的な多視点特徴集約のための学習優先視点アテンション機構を提案する。 既存の高品質データセットの上に構築されたベンチマークであるFlowOcc3Dを紹介します。
  論文  参考訳（メタデータ） (2024-05-07T13:15:07Z)
• Envision3D: One Image to 3D with Anchor Views Interpolation [18.31796952040799]
  本研究では,1枚の画像から高品質な3Dコンテンツを効率よく生成する新しい手法であるEnvision3Dを提案する。 テクスチャと幾何学の観点から高品質な3Dコンテンツを生成することができ、従来の画像から3Dのベースライン法を超越している。
  論文  参考訳（メタデータ） (2024-03-13T18:46:33Z)
• Consistent123: Improve Consistency for One Image to 3D Object Synthesis [74.1094516222327]
  大規模な画像拡散モデルは、高品質で優れたゼロショット機能を備えた新規なビュー合成を可能にする。 これらのモデルは、ビュー一貫性の保証がなく、3D再構成や画像から3D生成といった下流タスクのパフォーマンスが制限される。 本稿では,新しい視点を同時に合成するConsistent123を提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:38:28Z)
• Multi-Spectral Image Stitching via Spatial Graph Reasoning [52.27796682972484]
  空間グラフ推論に基づくマルチスペクトル画像縫合法を提案する。 同一のビュー位置から複数スケールの補完機能をノードに埋め込む。 空間的・チャネル的次元に沿った長距離コヒーレンスを導入することにより、画素関係の相補性とチャネル相互依存性は、整列したマルチビュー特徴の再構築に寄与する。
  論文  参考訳（メタデータ） (2023-07-31T15:04:52Z)
• Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360{\deg} Omnidirectional Image [141.10227079090419]
  我々は,360度全方位画像中の有向物体を検出するために,MPFR-Net(Multi-Projection Fusion and Refinement Network)を提案する。 MPFR-Netは、等角射影像と対応する4つの立方体展開像を入力として使用する。 2つの全方位データセットの実験結果から,提案手法は定性的かつ定量的に,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-23T14:50:40Z)
• From Multi-View to Hollow-3D: Hallucinated Hollow-3D R-CNN for 3D Object Detection [101.20784125067559]
  本稿では,3次元物体検出の問題に対処するため,Halucinated Hollow-3D R-CNNという新しいアーキテクチャを提案する。 本稿では,まず,視点ビューと鳥眼ビューに点雲を逐次投影することで,多視点特徴を抽出する。 3Dオブジェクトは、新しい階層型Voxel RoIプール操作でボックスリファインメントモジュールを介して検出される。
  論文  参考訳（メタデータ） (2021-07-30T02:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。