論文の概要: ATISS: Autoregressive Transformers for Indoor Scene Synthesis
- arxiv url: http://arxiv.org/abs/2110.03675v1
- Date: Thu, 7 Oct 2021 17:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:38:51.919302
- Title: ATISS: Autoregressive Transformers for Indoor Scene Synthesis
- Title(参考訳): ATISS:屋内シーン合成のための自動回帰変換器
- Authors: Despoina Paschalidou and Amlan Kar and Maria Shugrina and Karsten
Kreis and Andreas Geiger and Sanja Fidler
- Abstract要約: 我々は,合成室内環境を構築するための新しい自己回帰型トランスフォーマーアーキテクチャであるATISSを紹介する。
この定式化は、ATISSが完全に自動的な部屋レイアウト合成を超えて一般的に有用になるため、より自然なものであると我々は主張する。
本モデルは,ラベル付き3Dバウンディングボックスのみを監督として,自動回帰生成モデルとしてエンドツーエンドで訓練されている。
- 参考スコア(独自算出の注目度): 112.63708524926689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to synthesize realistic and diverse indoor furniture layouts
automatically or based on partial input, unlocks many applications, from better
interactive 3D tools to data synthesis for training and simulation. In this
paper, we present ATISS, a novel autoregressive transformer architecture for
creating diverse and plausible synthetic indoor environments, given only the
room type and its floor plan. In contrast to prior work, which poses scene
synthesis as sequence generation, our model generates rooms as unordered sets
of objects. We argue that this formulation is more natural, as it makes ATISS
generally useful beyond fully automatic room layout synthesis. For example, the
same trained model can be used in interactive applications for general scene
completion, partial room re-arrangement with any objects specified by the user,
as well as object suggestions for any partial room. To enable this, our model
leverages the permutation equivariance of the transformer when conditioning on
the partial scene, and is trained to be permutation-invariant across object
orderings. Our model is trained end-to-end as an autoregressive generative
model using only labeled 3D bounding boxes as supervision. Evaluations on four
room types in the 3D-FRONT dataset demonstrate that our model consistently
generates plausible room layouts that are more realistic than existing methods.
In addition, it has fewer parameters, is simpler to implement and train and
runs up to 8 times faster than existing methods.
- Abstract(参考訳): インタラクティブな3dツールからトレーニングやシミュレーションのためのデータ合成まで、リアルで多様な室内家具のレイアウトを自動的にあるいは部分的な入力に基づいて合成する能力は、多くのアプリケーションをアンロックする。
本稿では,室内型とフロアプランのみを考慮し,多種多様な合成室内環境を構築するための自動回帰トランスフォーマーアーキテクチャであるATISSを提案する。
シーン合成をシーケンス生成として扱う先行研究とは対照的に,本モデルは無順序オブジェクト集合として部屋を生成する。
この定式化は、ATISSが完全に自動的な部屋レイアウト合成を超えて一般的に有用になるため、より自然なものであると我々は主張する。
例えば、同じトレーニングされたモデルは、一般的なシーン補完、ユーザーが指定した任意のオブジェクトに対する部分的な部屋再構成、および任意の部分的な部屋に対するオブジェクト提案のためのインタラクティブなアプリケーションで使用することができる。
これを実現するため、本モデルは部分的なシーンの条件付け時にトランスの置換等分散を活用し、オブジェクトの順序にまたがって置換不変であるように訓練する。
本モデルは,ラベル付き3Dバウンディングボックスのみを監督として,自動回帰生成モデルとしてエンドツーエンドで訓練されている。
3d-frontデータセットにおける4つのルームタイプの評価は、既存の方法よりも現実的な部屋レイアウトを一貫して生成することを示している。
さらに、パラメータが少なく、実装とトレーニングが簡単で、既存のメソッドよりも最大8倍高速に実行される。
関連論文リスト
- NViST: In the Wild New View Synthesis from a Single Image with
Transformers [9.878414824892783]
単一画像からの新規ビュー合成のためのトランスフォーマーモデルであるNViSTを提案する。
複雑な背景を持つWildイメージの大規模なデータセットに基づいてトレーニングされる。
MVImgNetの未確認オブジェクトやカテゴリ,さらにはカジュアル電話のキャプチャ結果も示す。
論文 参考訳(メタデータ) (2023-12-13T23:41:17Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - DiffuScene: Denoising Diffusion Models for Generative Indoor Scene
Synthesis [44.521452102413534]
拡散モデルに基づく屋内3次元シーン合成のためのDiffuSceneを提案する。
非順序オブジェクトセットに格納された3Dインスタンスプロパティを生成し、各オブジェクト設定に最もよく似た幾何学を検索する。
論文 参考訳(メタデータ) (2023-03-24T18:00:15Z) - CLIP-Layout: Style-Consistent Indoor Scene Synthesis with Semantic
Furniture Embedding [17.053844262654223]
室内シーンの合成は、家具をフロアプランに適切にピックして配置する。
本稿では,インスタンスレベルの予測を出力できる自動回帰シーンモデルを提案する。
我々のモデルはシーン合成におけるSOTAの結果を達成し、自動補完の指標を50%以上改善する。
論文 参考訳(メタデータ) (2023-03-07T00:26:02Z) - Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。
合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。
実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
論文 参考訳(メタデータ) (2022-03-20T13:06:15Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳(メタデータ) (2022-02-24T01:31:29Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳(メタデータ) (2021-08-30T19:45:07Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。