論文の概要: SceneFormer: Indoor Scene Generation with Transformers
- arxiv url: http://arxiv.org/abs/2012.09793v2
- Date: Fri, 2 Apr 2021 08:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 13:13:34.081457
- Title: SceneFormer: Indoor Scene Generation with Transformers
- Title（参考訳）: SceneFormer: トランスフォーマーを用いた屋内シーン生成
- Authors: Xinpeng Wang, Chandan Yeshwanth, Matthias Nie{\ss}ner
- Abstract要約: 大規模屋内シーンデータセットにより,ユーザが設計した屋内シーンからパターンを抽出できる。
外観情報は使用せず、変圧器の自己保持機構を用いて暗黙的にオブジェクト関係を学習します。
また,本手法は,部屋レイアウトだけでなく,部屋のテキスト記述にも適用できるため,フレキシブルである。
- 参考スコア（独自算出の注目度）: 2.334978724544296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the task of indoor scene generation by generating a sequence of
objects, along with their locations and orientations conditioned on a room
layout. Large-scale indoor scene datasets allow us to extract patterns from
user-designed indoor scenes, and generate new scenes based on these patterns.
Existing methods rely on the 2D or 3D appearance of these scenes in addition to
object positions, and make assumptions about the possible relations between
objects. In contrast, we do not use any appearance information, and implicitly
learn object relations using the self-attention mechanism of transformers. We
show that our model design leads to faster scene generation with similar or
improved levels of realism compared to previous methods. Our method is also
flexible, as it can be conditioned not only on the room layout but also on text
descriptions of the room, using only the cross-attention mechanism of
transformers. Our user study shows that our generated scenes are preferred to
the state-of-the-art FastSynth scenes 53.9% and 56.7% of the time for bedroom
and living room scenes, respectively. At the same time, we generate a scene in
1.48 seconds on average, 20% faster than FastSynth.
- Abstract（参考訳）: 室内シーン生成の課題は,室内レイアウトに条件づけられた位置や向きとともに,オブジェクトのシーケンスを生成することで解決する。
大規模屋内シーンデータセットは,ユーザが設計した屋内シーンからパターンを抽出し,そのパターンに基づいて新たなシーンを生成することができる。
既存の方法は、オブジェクトの位置に加えて、これらのシーンの2次元または3次元の外観に依存し、オブジェクト間の関係を仮定する。
対照的に,出現情報を用いず,トランスフォーマの自己照準機構を用いて暗黙的に物体関係を学習する。
モデル設計は,従来の手法と類似あるいは改善されたリアリズムのレベルにおいて,より高速なシーン生成につながることを示す。
また, 部屋のレイアウトだけでなく, 部屋のテキスト記述についても, トランスフォーマのクロスタッチ機構のみを用いて条件づけできるため, 柔軟な手法である。
ユーザスタディによると、我々の生成したシーンは、それぞれ寝室とリビングルームのシーンの53.9%と56.7%の最先端のFastSynthシーンに好まれている。
同時に、平均1.48秒でシーンを生成し、FastSynthよりも20%高速です。
関連論文リスト
- SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。
本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2024-10-11T17:59:58Z) - Physics-based Scene Layout Generation from Human Motion [21.939444709132395]
本研究では、シーンレイアウト生成を同時に最適化し、物理シミュレータで動く人間をシミュレートする物理に基づくアプローチを提案する。
我々は、強化学習を用いて、キャラクタ動作模倣コントローラとシーンレイアウトジェネレータの両方の二重最適化を行う。
提案手法は,SAMPとPROXの動作を用いて評価し,従来のキネマティクス法と比較して,物理的に妥当なシーンレイアウトの再構築を示す。
論文 参考訳（メタデータ） (2024-05-21T02:36:37Z) - 3D scene generation from scene graphs and self-attention [51.49886604454926]
本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。
我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
論文 参考訳（メタデータ） (2024-04-02T12:26:17Z) - Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。
私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。
単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
論文 参考訳（メタデータ） (2024-02-26T18:54:15Z) - RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent
Geometry and Texture [80.0643976406225]
本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。
本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。
提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
論文 参考訳（メタデータ） (2023-05-18T22:57:57Z) - SceneHGN: Hierarchical Graph Networks for 3D Indoor Scene Generation
with Fine-Grained Geometry [92.24144643757963]
3D屋内シーンは、インテリアデザインからゲーム、バーチャルおよび拡張現実に至るまで、コンピュータグラフィックスで広く使われている。
高品質な3D屋内シーンは、専門知識が必要であり、手動で高品質な3D屋内シーンを設計するのに時間を要する。
SCENEHGNは3次元屋内シーンの階層的なグラフネットワークであり,部屋レベルからオブジェクトレベルまでの全階層を考慮し,最後にオブジェクト部分レベルに展開する。
提案手法は, 立体形状の細かな家具を含む, 可塑性3次元室内容を直接生成し, 直接的に生成することができる。
論文 参考訳（メタデータ） (2023-02-16T15:31:59Z) - DisCoScene: Spatially Disentangled Generative Radiance Fields for
Controllable 3D-aware Scene Synthesis [90.32352050266104]
DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。
グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。
挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-12-22T18:59:59Z) - ATISS: Autoregressive Transformers for Indoor Scene Synthesis [112.63708524926689]
我々は,合成室内環境を構築するための新しい自己回帰型トランスフォーマーアーキテクチャであるATISSを紹介する。
この定式化は、ATISSが完全に自動的な部屋レイアウト合成を超えて一般的に有用になるため、より自然なものであると我々は主張する。
本モデルは,ラベル付き3Dバウンディングボックスのみを監督として,自動回帰生成モデルとしてエンドツーエンドで訓練されている。
論文 参考訳（メタデータ） (2021-10-07T17:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。