論文の概要: 4DContrast: Contrastive Learning with Dynamic Correspondences for 3D
Scene Understanding
- arxiv url: http://arxiv.org/abs/2112.02990v1
- Date: Mon, 6 Dec 2021 13:09:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 16:26:51.875357
- Title: 4DContrast: Contrastive Learning with Dynamic Correspondences for 3D
Scene Understanding
- Title(参考訳): 4dcontrast:3次元シーン理解のための動的対応によるコントラスト学習
- Authors: Yujin Chen, Matthias Nie{\ss}ner, Angela Dai
- Abstract要約: 教師なし事前学習により学習した3次元表現に4次元動的対象を組み込む新しい手法を提案する。
本研究では,静的な3次元環境に移動する合成3次元形状を利用した新しいデータ拡張手法を提案する。
実験により、教師なし表現学習は、下流3次元セマンティックセマンティックセマンティックセマンティクス、オブジェクト検出、インスタンスセマンティクスタスクの改善をもたらすことが示された。
- 参考スコア(独自算出の注目度): 22.896937940702642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new approach to instill 4D dynamic object priors into learned 3D
representations by unsupervised pre-training. We observe that dynamic movement
of an object through an environment provides important cues about its
objectness, and thus propose to imbue learned 3D representations with such
dynamic understanding, that can then be effectively transferred to improved
performance in downstream 3D semantic scene understanding tasks. We propose a
new data augmentation scheme leveraging synthetic 3D shapes moving in static 3D
environments, and employ contrastive learning under 3D-4D constraints that
encode 4D invariances into the learned 3D representations. Experiments
demonstrate that our unsupervised representation learning results in
improvement in downstream 3D semantic segmentation, object detection, and
instance segmentation tasks, and moreover, notably improves performance in
data-scarce scenarios.
- Abstract(参考訳): 教師なし事前学習により学習した3次元表現に4次元動的対象を組み込む新しい手法を提案する。
そこで我々は, 物体の動的移動が, その対象性に関する重要な手がかりとなることを観察し, 学習された3次元表現を動的に理解することで, 下流3次元セマンティックシーン理解タスクの性能向上に効果的に移行できることを示す。
本研究では, 静的3次元環境における合成3次元形状を利用した新しいデータ拡張手法を提案し, 学習した3次元表現に4次元不変性をエンコードする3d-4次元制約下でのコントラスト学習を行う。
教師なし表現学習の結果,下流3次元意味セグメンテーション,オブジェクト検出,インスタンスセグメンテーションタスクが改善し,さらにデータキャリアシナリオのパフォーマンスも向上した。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - OccupancyDETR: Making Semantic Scene Completion as Straightforward as
Object Detection [11.663298245614584]
3Dセマンティック占有感は、自律運転のようなロボットアプリケーションのための新しい知覚パラダイムである。
我々は,DETRのようなオブジェクト検出モジュールと3D占有デコーダモジュールからなる,新しい3D意味的占有認識手法OccupancyDETRを提案する。
提案手法がSemantic KITTIデータセットに与える影響を実証し,mIoUが23で,処理速度が毎秒6フレームであることを示す。
論文 参考訳(メタデータ) (2023-09-15T16:06:23Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳(メタデータ) (2023-07-07T17:59:14Z) - H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。
単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。
本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
論文 参考訳(メタデータ) (2022-03-02T17:10:49Z) - Spatio-temporal Self-Supervised Representation Learning for 3D Point
Clouds [96.9027094562957]
ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。
幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。
STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
論文 参考訳(メタデータ) (2021-09-01T04:17:11Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Learning Compositional Representation for 4D Captures with Neural ODE [72.56606274691033]
本稿では, 形状, 初期状態, 動きを区別する4次元キャプチャの合成表現法を提案する。
運動をモデル化するために、学習した動作コードに基づいて条件付けられた初期状態を更新するために、神経常微分方程式(ode)を訓練する。
デコーダはシェイプコードと更新されたポーズコードを取り、スタンプごとに4Dキャプチャを再構築する。
論文 参考訳(メタデータ) (2021-03-15T10:55:55Z) - Info3D: Representation Learning on 3D Objects using Mutual Information
Maximization and Contrastive Learning [8.448611728105513]
本稿では,3次元形状に関するInfoMaxと対照的な学習原理を拡張することを提案する。
我々は3Dオブジェクトとその「チャンク」間の相互情報を最大化して、整列したデータセットにおける表現を改善することができることを示す。
論文 参考訳(メタデータ) (2020-06-04T00:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。