論文の概要: TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images
Using Joint 2D-3D Learning
- arxiv url: http://arxiv.org/abs/2204.10993v1
- Date: Sat, 23 Apr 2022 05:18:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 15:45:47.858138
- Title: TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images
Using Joint 2D-3D Learning
- Title（参考訳）: TerrainMesh: 連立2D-3D学習による空中画像からの計量意味的地層再構成
- Authors: Qiaojun Feng, Nikolay Atanasov
- Abstract要約: 本稿では,視覚的オドメトリーアルゴリズムによって保持される各カメラにおける局所的メートル法-セマンティックメッシュを再構築する2次元3次元学習手法を提案する。
メッシュはグローバル環境モデルに組み立てて、オンライン操作中の地形のトポロジとセマンティクスをキャプチャすることができる。
- 参考スコア（独自算出の注目度）: 22.60275588289516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers outdoor terrain mapping using RGB images obtained from
an aerial vehicle. While feature-based localization and mapping techniques
deliver real-time vehicle odometry and sparse keypoint depth reconstruction, a
dense model of the environment geometry and semantics (vegetation, buildings,
etc.) is usually recovered offline with significant computation and storage.
This paper develops a joint 2D-3D learning approach to reconstruct a local
metric-semantic mesh at each camera keyframe maintained by a visual odometry
algorithm. Given the estimated camera trajectory, the local meshes can be
assembled into a global environment model to capture the terrain topology and
semantics during online operation. A local mesh is reconstructed using an
initialization and refinement stage. In the initialization stage, we estimate
the mesh vertex elevation by solving a least squares problem relating the
vertex barycentric coordinates to the sparse keypoint depth measurements. In
the refinement stage, we associate 2D image and semantic features with the 3D
mesh vertices using camera projection and apply graph convolution to refine the
mesh vertex spatial coordinates and semantic features based on joint 2D and 3D
supervision. Quantitative and qualitative evaluation using real aerial images
show the potential of our method to support environmental monitoring and
surveillance applications.
- Abstract（参考訳）: 本稿では,航空機から得られたRGB画像を用いた屋外地形図について考察する。
機能ベースのローカライズとマッピング技術がリアルタイム車両のオドメトリとスパースなキーポイント深度再構成をもたらす一方で、環境幾何学とセマンティクス(植生、建物など)の密集したモデルは通常、重要な計算とストレージによってオフラインで復元される。
本稿では,視覚オドメトリーアルゴリズムによって維持される各カメラキーフレームにおける局所的メトリック・セマンティクスメッシュを再構成する2d-3次元学習手法を開発した。
推定カメラ軌道を考えると、ローカルメッシュはグローバル環境モデルに組み立てられ、オンライン操作中の地形のトポロジとセマンティクスをキャプチャすることができる。
局所メッシュは初期化及び改良段階を用いて再構築される。
初期化段階では、頂点バーリ中心座標とスパースキーポイント深さ測定に関する最小二乗問題を解くことでメッシュ頂点標高を推定する。
改良段階において,2次元画像と意味的特徴をカメラプロジェクションを用いて3次元メッシュ頂点に関連付け,グラフ畳み込みを適用してメッシュ頂点空間座標と意味的特徴を2次元と3次元の同時監視に基づいて洗練する。
実空画像を用いた定量的・質的評価は,環境モニタリングおよび監視アプリケーションを支援する手法の可能性を示している。
関連論文リスト
- Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。
そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。
PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
論文 参考訳（メタデータ） (2024-07-26T06:29:09Z) - LIST: Learning Implicitly from Spatial Transformers for Single-View 3D
Reconstruction [5.107705550575662]
Listは、局所的およびグローバルな画像特徴を活用して、単一の画像から3Dオブジェクトの幾何学的および位相的構造を再構築する、新しいニューラルネットワークである。
合成画像と実世界の画像から3Dオブジェクトを再構成する際のモデルの有用性を示す。
論文 参考訳（メタデータ） (2023-07-23T01:01:27Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳（メタデータ） (2022-12-17T15:05:25Z) - Pixel-Aligned Non-parametric Hand Mesh Reconstruction [16.62199923065314]
非パラメトリックメッシュ再構成は、最近3Dの手と身体の応用において顕著な進歩を見せている。
本稿では,このマッピングをシンプルでコンパクトなアーキテクチャで構築し,活用することを目的とする。
3つのフェーズからなるハンドメッシュリカバリタスクのためのエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2022-10-17T15:53:18Z) - SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth
Sampling [75.957103837167]
1枚のスケッチ画像に基づいて3次元形状を再構成することは、スパースで不規則なスケッチと正規の高密度な3次元形状との間に大きな領域ギャップがあるため困難である。
既存の作品では、3D座標を直接予測するためにスケッチから抽出されたグローバルな特徴を活用しようとするが、通常は入力スケッチに忠実でない細部を失う。
論文 参考訳（メタデータ） (2022-08-14T16:37:51Z) - Learnable Triangulation for Deep Learning-based 3D Reconstruction of
Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。
提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
論文 参考訳（メタデータ） (2021-09-24T09:44:22Z) - Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。
以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文 参考訳（メタデータ） (2021-04-21T00:35:32Z) - Mesh Reconstruction from Aerial Images for Outdoor Terrain Mapping Using
Joint 2D-3D Learning [12.741811850885309]
本稿では,無人航空機から得られた頭上画像を用いて,屋外地形のマッピングを行う。
飛行中の航空画像からの深度推定は困難です。
各カメラの局所メッシュを再構成する2d-3d学習手法を共同開発し,地球環境モデルとして構築する。
論文 参考訳（メタデータ） (2021-01-06T02:09:03Z) - Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。
ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。
オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
論文 参考訳（メタデータ） (2020-04-20T13:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。