論文の概要: A Multi-modal Garden Dataset and Hybrid 3D Dense Reconstruction Framework Based on Panoramic Stereo Images for a Trimming Robot

• arxiv url: http://arxiv.org/abs/2305.06278v1
• Date: Wed, 10 May 2023 16:15:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 12:13:32.001976
• Title: A Multi-modal Garden Dataset and Hybrid 3D Dense Reconstruction Framework Based on Panoramic Stereo Images for a Trimming Robot
• Title（参考訳）: トリミングロボットのためのパノラマステレオ画像に基づくマルチモーダルガーデンデータセットとハイブリッド3次元Dense再構成フレームワーク
• Authors: Can Pu, Chuanyu Yang, Jinnian Pu, Radim Tylecek, Robert B. Fisher
• Abstract要約: 提案手法は,新たに設計されたパノラマステレオカメラと,3つの融合モジュールからなるハイブリッドソフトウェアフレームワークをベースとした。 異方性融合モジュールでは、修正ステレオ画像は、複数のステレオビジョンアルゴリズムを用いて初期異方性マップを生成する。 ポーズ融合モジュールは、2段階のグローバル粗大な局所的な戦略を採用する。 ボリューム融合モジュールでは、全ノードのグローバルなポーズを使用して、単一視点の雲をボリュームに統合する。
• 参考スコア（独自算出の注目度）: 7.248231584821008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering an outdoor environment's surface mesh is vital for an agricultural robot during task planning and remote visualization. Our proposed solution is based on a newly-designed panoramic stereo camera along with a hybrid novel software framework that consists of three fusion modules. The panoramic stereo camera with a pentagon shape consists of 5 stereo vision camera pairs to stream synchronized panoramic stereo images for the following three fusion modules. In the disparity fusion module, rectified stereo images produce the initial disparity maps using multiple stereo vision algorithms. Then, these initial disparity maps, along with the intensity images, are input into a disparity fusion network to produce refined disparity maps. Next, the refined disparity maps are converted into full-view point clouds or single-view point clouds for the pose fusion module. The pose fusion module adopts a two-stage global-coarse-to-local-fine strategy. In the first stage, each pair of full-view point clouds is registered by a global point cloud matching algorithm to estimate the transformation for a global pose graph's edge, which effectively implements loop closure. In the second stage, a local point cloud matching algorithm is used to match single-view point clouds in different nodes. Next, we locally refine the poses of all corresponding edges in the global pose graph using three proposed rules, thus constructing a refined pose graph. The refined pose graph is optimized to produce a global pose trajectory for volumetric fusion. In the volumetric fusion module, the global poses of all the nodes are used to integrate the single-view point clouds into the volume to produce the mesh of the whole garden. The proposed framework and its three fusion modules are tested on a real outdoor garden dataset to show the superiority of the performance.
• Abstract（参考訳）: 屋外環境の表面メッシュの復元は、タスク計画とリモート可視化の間、農業ロボットにとって不可欠である。 提案手法は,新しく設計されたパノラマステレオカメラと,融合モジュールを3つ備えたハイブリッドソフトウェアフレームワークをベースとする。 五角形のパノラマステレオカメラは、5つのステレオビジョンカメラペアで構成され、以下の3つの融合モジュールに対して同期パノラマステレオ画像をストリーミングする。 disparity fusionモジュールでは、直交ステレオ画像が複数のステレオビジョンアルゴリズムを用いて初期不一致マップを生成する。 そして、これらの初期不均一マップと強度画像とを融合ネットワークに入力し、洗練された不均一マップを生成する。 次に、改良された不均等写像は、ポーズ融合モジュールのためのフルビューポイントクラウドまたはシングルビューポイントクラウドに変換される。 ポーズ融合モジュールは、2段階のグローバル粗大な局所的な戦略を採用する。 最初の段階では、各一対のフルビューポイントクラウドがグローバルポイントクラウドマッチングアルゴリズムによって登録され、グローバルポーズグラフのエッジの変換を推定し、ループクロージャを効果的に実装する。 第2段階では、ローカルポイントクラウドマッチングアルゴリズムが、異なるノードの単一ビューポイントクラウドにマッチするために使用される。 次に,グローバルポーズグラフにおけるすべてのエッジのポーズを3つのルールを用いて局所的に洗練し,洗練されたポーズグラフを構築する。 改良されたポーズグラフは、体積融合のためのグローバルなポーズ軌道を生成するために最適化されている。 ボリューム融合モジュールでは、すべてのノードのグローバルなポーズを使用して、単一のビューポイントの雲をボリュームに統合し、庭全体のメッシュを生成する。 提案するフレームワークと3つの融合モジュールは、実際の屋外ガーデンデータセット上でテストされ、パフォーマンスの優位性を示す。

関連論文リスト

• Focus on Neighbors and Know the Whole: Towards Consistent Dense Multiview Text-to-Image Generator for 3D Creation [64.07560335451723]
  CoSERは、テキストから3Dへの一貫した高密度テキスト・ツー・イメージ・ジェネレータである。 隣人のビューコヒーレンスを巧みに学習することで効率と品質を両立させる。 物理原理によって明確に定義された運動経路に沿って情報を集約し、詳細を洗練させる。
  論文  参考訳（メタデータ） (2024-08-23T15:16:01Z)
• Multiway Point Cloud Mosaicking with Diffusion and Global Optimization [74.3802812773891]
  マルチウェイポイントクラウドモザイクのための新しいフレームワーク(水曜日)を紹介する。 我々のアプローチの核心は、重複を識別し、注意点を洗練する学習されたペアワイズ登録アルゴリズムODINである。 4つの多種多様な大規模データセットを用いて、我々の手法は、全てのベンチマークにおいて大きなマージンで、最先端のペアとローテーションの登録結果を比較した。
  論文  参考訳（メタデータ） (2024-03-30T17:29:13Z)
• DiffPoint: Single and Multi-view Point Cloud Reconstruction with ViT Based Diffusion Model [10.253402444122084]
  我々は,ポイントクラウド再構築の課題に対して,ViTと拡散モデルを組み合わせたDiffPointという巧妙で強力なアーキテクチャを提案する。 DiffPointを単視点と多視点の両方の再構成タスクで評価し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-02-17T10:18:40Z)
• LoGoNet: Towards Accurate 3D Object Detection with Local-to-Global Cross-Modal Fusion [40.44084541717407]
  ローカル-グローバル融合ネットワーク(LoGoNet) LoGoNetは3Dオブジェクト検出リーダーボードで1位だ。 3つのクラスの検出性能が80 APH (L2) を超えるのは初めてである。
  論文  参考訳（メタデータ） (2023-03-07T02:00:34Z)
• Cross-View Panorama Image Synthesis [68.35351563852335]
  PanoGANは、新しい敵対的フィードバックGANフレームワークである。 PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
  論文  参考訳（メタデータ） (2022-03-22T15:59:44Z)
• A Graph-Matching Approach for Cross-view Registration of Over-view 2 and Street-view based Point Clouds [4.742825811314168]
  本稿では,ビュー不変の特徴として意味的セグメント化されたオブジェクト境界を利用する,クロスビューデータの完全自動ジオレジストリ手法を提案する。 提案手法は,衛星とストリートビューに基づく点群から検出されたグラフのノードとして建物セグメントをモデル化する。 一致したノードは、正確な登録を可能にするためにさらに最適化され、2D29 3Dのコンプリートを維持するために、ストリートビューイメージ上の束調整が制限される。
  論文  参考訳（メタデータ） (2022-02-14T16:43:28Z)
• VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion [68.68537312256144]
  VoRTXは、多視点機能融合のためのトランスフォーマーを用いた、エンドツーエンドのボリューム3D再構成ネットワークである。 我々は、ScanNet上でモデルをトレーニングし、最先端の手法よりも優れた再構築を実現することを示す。
  論文  参考訳（メタデータ） (2021-12-01T02:18:11Z)
• UniFuse: Unidirectional Fusion for 360$^{\circ}$ Panorama Depth Estimation [11.680475784102308]
  本稿では,2つのプロジェクションから特徴を融合する新しいフレームワークを提案する。 提案した融合戦略とモジュールの有効性を実験により検証し、4つの一般的なデータセット上で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2021-02-06T10:01:09Z)
• Wide-Area Crowd Counting: Multi-View Fusion Networks for Counting in Large Scenes [50.744452135300115]
  マルチビュー・クラウドカウントのためのディープニューラルネットワークフレームワークを提案する。 提案手法は,他のマルチビューカウントベースラインと比較して,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-12-02T03:20:30Z)
• AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild [77.43884383743872]
  本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。 我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。 また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
  論文  参考訳（メタデータ） (2020-10-26T03:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。