論文の概要: 4DContrast: Contrastive Learning with Dynamic Correspondences for 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2112.02990v1
• Date: Mon, 6 Dec 2021 13:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 16:26:51.875357
• Title: 4DContrast: Contrastive Learning with Dynamic Correspondences for 3D Scene Understanding
• Title（参考訳）: 4dcontrast:3次元シーン理解のための動的対応によるコントラスト学習
• Authors: Yujin Chen, Matthias Nie{\ss}ner, Angela Dai
• Abstract要約: 教師なし事前学習により学習した3次元表現に4次元動的対象を組み込む新しい手法を提案する。 本研究では,静的な3次元環境に移動する合成3次元形状を利用した新しいデータ拡張手法を提案する。 実験により、教師なし表現学習は、下流3次元セマンティックセマンティックセマンティックセマンティクス、オブジェクト検出、インスタンスセマンティクスタスクの改善をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 22.896937940702642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new approach to instill 4D dynamic object priors into learned 3D representations by unsupervised pre-training. We observe that dynamic movement of an object through an environment provides important cues about its objectness, and thus propose to imbue learned 3D representations with such dynamic understanding, that can then be effectively transferred to improved performance in downstream 3D semantic scene understanding tasks. We propose a new data augmentation scheme leveraging synthetic 3D shapes moving in static 3D environments, and employ contrastive learning under 3D-4D constraints that encode 4D invariances into the learned 3D representations. Experiments demonstrate that our unsupervised representation learning results in improvement in downstream 3D semantic segmentation, object detection, and instance segmentation tasks, and moreover, notably improves performance in data-scarce scenarios.
• Abstract（参考訳）: 教師なし事前学習により学習した3次元表現に4次元動的対象を組み込む新しい手法を提案する。 そこで我々は, 物体の動的移動が, その対象性に関する重要な手がかりとなることを観察し, 学習された3次元表現を動的に理解することで, 下流3次元セマンティックシーン理解タスクの性能向上に効果的に移行できることを示す。 本研究では, 静的3次元環境における合成3次元形状を利用した新しいデータ拡張手法を提案し, 学習した3次元表現に4次元不変性をエンコードする3d-4次元制約下でのコントラスト学習を行う。 教師なし表現学習の結果,下流3次元意味セグメンテーション,オブジェクト検出,インスタンスセグメンテーションタスクが改善し,さらにデータキャリアシナリオのパフォーマンスも向上した。

関連論文リスト

• Learning 3D Representations from Procedural 3D Programs [6.915871213703219]
  自己教師付き学習は、ラベルのない3Dポイントクラウドから転送可能な3D表現を取得するための有望なアプローチとして登場した。 簡単なプリミティブと拡張を使って3次元形状を自動的に生成する手続き型3Dプログラムから3次元表現を学習する。
  論文  参考訳（メタデータ） (2024-11-25T18:59:57Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
  この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。 単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。 本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-02T17:10:49Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Info3D: Representation Learning on 3D Objects using Mutual Information Maximization and Contrastive Learning [8.448611728105513]
  本稿では,3次元形状に関するInfoMaxと対照的な学習原理を拡張することを提案する。 我々は3Dオブジェクトとその「チャンク」間の相互情報を最大化して、整列したデータセットにおける表現を改善することができることを示す。
  論文  参考訳（メタデータ） (2020-06-04T00:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。