論文の概要: CoCoNets: Continuous Contrastive 3D Scene Representations
- arxiv url: http://arxiv.org/abs/2104.03851v1
- Date: Thu, 8 Apr 2021 15:50:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-09 13:03:38.521329
- Title: CoCoNets: Continuous Contrastive 3D Scene Representations
- Title（参考訳）: CoCoNets: 連続したコントラスト3Dシーン表現
- Authors: Shamit Lal, Mihir Prabhudesai, Ishita Mediratta, Adam W. Harley,
Katerina Fragkiadaki
- Abstract要約: 本稿では,RGBとRGB-Dの画像とビデオから非モーダルな3D特徴表現を自己監督的に学習する。
得られた3次元視覚特徴表現は,オブジェクトやシーンにまたがって効果的にスケールし,入力視点から逸脱した情報を想像し,時間とともにオブジェクトを追跡し,意味的に関連したオブジェクトを3dで調整し,3dオブジェクト検出を改善する。
- 参考スコア（独自算出の注目度）: 21.906643302668716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores self-supervised learning of amodal 3D feature
representations from RGB and RGB-D posed images and videos, agnostic to object
and scene semantic content, and evaluates the resulting scene representations
in the downstream tasks of visual correspondence, object tracking, and object
detection. The model infers a latent3D representation of the scene in the form
of 3D feature points, where each continuous world 3D point is mapped to its
corresponding feature vector. The model is trained for contrastive view
prediction by rendering 3D feature clouds in queried viewpoints and matching
against the 3D feature point cloud predicted from the query view. Notably, the
representation can be queried for any 3D location, even if it is not visible
from the input view. Our model brings together three powerful ideas of recent
exciting research work: 3D feature grids as a neural bottleneck for view
prediction, implicit functions for handling resolution limitations of 3D grids,
and contrastive learning for unsupervised training of feature representations.
We show the resulting 3D visual feature representations effectively scale
across objects and scenes, imagine information occluded or missing from the
input viewpoints, track objects over time, align semantically related objects
in 3D, and improve 3D object detection. We outperform many existing
state-of-the-art methods for 3D feature learning and view prediction, which are
either limited by 3D grid spatial resolution, do not attempt to build amodal 3D
representations, or do not handle combinatorial scene variability due to their
non-convolutional bottlenecks.
- Abstract（参考訳）: 本稿では,RGB と RGB-D の提示した画像と映像からのアモーダル3次元特徴表現の自己教師付き学習,オブジェクトやシーンのセマンティックコンテンツへの依存,および視覚的対応,オブジェクト追跡,オブジェクト検出といった下流タスクにおけるシーン表現の評価を行う。
このモデルは、3D特徴点の形でシーンの潜在3D表現を推論し、各連続世界3D点を対応する特徴ベクトルにマッピングする。
このモデルは、クエリビューから予測される3D特徴点クラウドとマッチングし、クエリビューで予測される3D特徴点クラウドをレンダリングすることで、コントラスト的なビュー予測のために訓練される。
特に、この表現は入力ビューから見えなくても、任意の3Dロケーションに対してクエリすることができる。
我々のモデルは、最近のエキサイティングな研究の3つの強力なアイデアをまとめている。ビュー予測のための神経的ボトルネックとしての3D特徴格子、3Dグリッドの解像度制限を扱う暗黙の関数、特徴表現の教師なしトレーニングのための対照的な学習である。
得られた3次元視覚特徴表現は,オブジェクトやシーンにまたがって効果的にスケールし,入力視点から逸脱した情報を想像し,時間とともにオブジェクトを追跡し,意味的に関連したオブジェクトを3dで調整し,3dオブジェクト検出を改善する。
我々は,3次元グリッド空間分解能に制限された3次元特徴学習とビュー予測の既存手法よりも優れており,アモーダルな3次元表現を構築しようとしなかったり,非畳み込みボトルネックによる組み合わせシーンの変動に対処しなかったりしている。
関連論文リスト
- SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。
SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。
SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-01T21:23:03Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z) - Graph-DETR3D: Rethinking Overlapping Regions for Multi-View 3D Object
Detection [17.526914782562528]
グラフ構造学習(GSL)による多視点画像情報を自動的に集約するグラフDETR3Dを提案する。
我々の最良のモデルは、nuScenesテストリーダーボード上で49.5 NDSを達成し、様々な画像ビュー3Dオブジェクト検出器と比較して新しい最先端技術を実現している。
論文 参考訳（メタデータ） (2022-04-25T12:10:34Z) - Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。
我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
論文 参考訳（メタデータ） (2022-03-25T00:20:31Z) - From Multi-View to Hollow-3D: Hallucinated Hollow-3D R-CNN for 3D Object
Detection [101.20784125067559]
本稿では,3次元物体検出の問題に対処するため,Halucinated Hollow-3D R-CNNという新しいアーキテクチャを提案する。
本稿では,まず,視点ビューと鳥眼ビューに点雲を逐次投影することで,多視点特徴を抽出する。
3Dオブジェクトは、新しい階層型Voxel RoIプール操作でボックスリファインメントモジュールを介して検出される。
論文 参考訳（メタデータ） (2021-07-30T02:00:06Z) - 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators [24.181604511269096]
本稿では、3次元ニューラルシーン表現空間におけるオブジェクトとエージェントの相互作用によるシーン変化を予測できる動作条件動的モデルを提案する。
この空間では、オブジェクトは互いに干渉せず、その外観は時間と視点にわたって持続する。
本モデルでは,対話対象の個数や外観,カメラ視点の多様さにまたがる予測をよく一般化することを示す。
論文 参考訳（メタデータ） (2020-11-12T16:15:52Z) - 3D Object Recognition By Corresponding and Quantizing Neural 3D Scene
Representations [29.61554189447989]
本稿では,RGB-D画像からオブジェクトを検出し,その3Dポーズを推測するシステムを提案する。
多くの既存のシステムはオブジェクトを識別し、3Dのポーズを推測できるが、それらは人間のラベルや3Dアノテーションに大きく依存している。
論文 参考訳（メタデータ） (2020-10-30T13:56:09Z) - Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using
Deep Shape Priors [69.02332607843569]
PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。
リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。
我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
論文 参考訳（メタデータ） (2020-10-08T14:49:23Z) - Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic
Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。
3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。
我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文 参考訳（メタデータ） (2020-08-04T13:56:19Z) - Tracking Emerges by Looking Around Static Scenes, with Neural 3D Mapping [23.456046776979903]
本稿では,任意の場面(静的あるいは動的)における静止点のマルチビューデータを利用して,ニューラル3Dマッピングモジュールを学習することを提案する。
ニューラル3Dマッパーは、RGB-Dデータを入力として消費し、深い特徴の3Dボクセルグリッドを出力として生成する。
教師なし3Dオブジェクトトラッカーは、教師なし2Dと2.5Dのトラッカーよりも優れており、教師なし3Dオブジェクトトラッカーの精度に近づいていることを示す。
論文 参考訳（メタデータ） (2020-08-04T02:59:23Z) - Weakly Supervised 3D Object Detection from Point Clouds [27.70180601788613]
3Dオブジェクト検出は、特定のクラスに属するオブジェクトの3D境界ボックスを検出し、ローカライズすることを目的としている。
既存の3Dオブジェクト検出器は、トレーニング中にアノテーション付き3Dバウンディングボックスに依存している。
基礎となる真理3D境界ボックスを使わずに点雲からの3Dオブジェクト検出を弱教師付きで行うためのフレームワークであるVS3Dを提案する。
論文 参考訳（メタデータ） (2020-07-28T03:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。