論文の概要: Semantic Segmentation of Fruits on Multi-sensor Fused Data in Natural Orchards

• arxiv url: http://arxiv.org/abs/2208.02483v1
• Date: Thu, 4 Aug 2022 06:17:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:42:01.287603
• Title: Semantic Segmentation of Fruits on Multi-sensor Fused Data in Natural Orchards
• Title（参考訳）: 天然果樹における多センサ融合データに基づく果汁のセマンティックセグメンテーション
• Authors: Hanwen Kang, Xing Wang
• Abstract要約: 本稿では,LiDAR-Camera視覚センサからの融合データに対して,高精度なセマンティックセマンティックセマンティックセマンティクスを実現するための深層学習に基づくセマンティクス手法を提案する。 実験では,リンゴ果樹園から取得した高度に非構造的でノイズの多い点群を扱う際のネットワーク構成を網羅的に解析した。 実験の結果,提案手法は実際の果樹園環境において正確なセグメンテーションを行うことができることがわかった。
• 参考スコア（独自算出の注目度）: 5.733573598657243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic segmentation is a fundamental task for agricultural robots to understand the surrounding environments in natural orchards. The recent development of the LiDAR techniques enables the robot to acquire accurate range measurements of the view in the unstructured orchards. Compared to RGB images, 3D point clouds have geometrical properties. By combining the LiDAR and camera, rich information on geometries and textures can be obtained. In this work, we propose a deep-learning-based segmentation method to perform accurate semantic segmentation on fused data from a LiDAR-Camera visual sensor. Two critical problems are explored and solved in this work. The first one is how to efficiently fused the texture and geometrical features from multi-sensor data. The second one is how to efficiently train the 3D segmentation network under severely imbalance class conditions. Moreover, an implementation of 3D segmentation in orchards including LiDAR-Camera data fusion, data collection and labelling, network training, and model inference is introduced in detail. In the experiment, we comprehensively analyze the network setup when dealing with highly unstructured and noisy point clouds acquired from an apple orchard. Overall, our proposed method achieves 86.2% mIoU on the segmentation of fruits on the high-resolution point cloud (100k-200k points). The experiment results show that the proposed method can perform accurate segmentation in real orchard environments.
• Abstract（参考訳）: セマンティックセグメンテーションは、農業ロボットが自然果樹園の環境を理解するための基本的な課題である。 近年のLiDAR技術により、ロボットは未構造化果樹園の視界を正確に測定できるようになっている。 RGB画像と比較すると、3次元点雲は幾何学的性質を持つ。 LiDARとカメラを組み合わせることで、ジオメトリやテクスチャに関する豊富な情報を得ることができる。 本研究では,lidarカメラを用いた視覚センサを用いて,融合データの正確な意味セグメンテーションを行うための,ディープラーニングに基づくセグメンテーション手法を提案する。 この研究で2つの重要な問題を探求し、解決した。 ひとつは、マルチセンサーデータからテクスチャと幾何学的特徴を効率的に融合する方法です。 第2の方法は,重度不均衡なクラス条件下での3次元セグメンテーションネットワークの効率的な訓練方法である。 さらに,lidarカメラデータ融合,データ収集とラベリング,ネットワークトレーニング,モデル推論を含む果樹園における3次元セグメンテーションの実装を詳細に紹介する。 実験では,リンゴ果樹園から取得した高度に非構造でノイズの多い点群を扱う際のネットワーク構成を総合的に解析する。 提案手法は,高分解能点雲(100k-200k点)上の果実のセグメンテーションにおいて86.2% mIoUを達成する。 実験の結果,本手法は実果樹園環境において高精度なセグメンテーションが可能であった。

関連論文リスト

• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and Semantic-Aware Alignment [63.83894701779067]
  我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。 提案手法では,LiDAR-Camera融合を3段階に分けて行う。 我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
  論文  参考訳（メタデータ） (2023-08-03T10:57:58Z)
• Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
  本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。 我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。 私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
  論文  参考訳（メタデータ） (2022-03-30T12:40:30Z)
• Efficient Urban-scale Point Clouds Segmentation with BEV Projection [0.0]
  ほとんどのディープポイントクラウドモデルは、直接3Dポイントクラウド上で学習を行います。 本稿では,高密度の鳥眼視射影に3次元点雲を移すことを提案する。
  論文  参考訳（メタデータ） (2021-09-19T06:49:59Z)
• Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion [38.05362492645094]
  現実世界の複雑な環境を直感的に捉えることができますが、3Dデータの生の性質のため、機械認識にとって非常に困難です。 我々は、現実に収集された大規模クラウドデータに対して、重要な視覚的タスク、セマンティックセグメンテーションに集中する。 3つのベンチマークで最先端のネットワークと比較することにより,ネットワークの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-12T04:13:20Z)
• Semantic Segmentation on Swiss3DCities: A Benchmark Study on Aerial Photogrammetric 3D Pointcloud Dataset [67.44497676652173]
  スイスの3つの都市から採取された総面積2.7 km2$の屋外3Dポイントクラウドデータセットを紹介した。 データセットは、ポイントごとのラベルによるセマンティックセグメンテーションのために手動でアノテートされ、高解像度カメラを備えたマルチローターによって取得された画像のフォトグラムを用いて構築される。
  論文  参考訳（メタデータ） (2020-12-23T21:48:47Z)
• Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud [50.56461318879761]
  3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。 GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。 3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
  論文  参考訳（メタデータ） (2020-12-20T13:35:00Z)
• Campus3D: A Photogrammetry Point Cloud Benchmark for Hierarchical Understanding of Outdoor Scene [76.4183572058063]
  複数の屋外シーン理解タスクに対して,リッチな注釈付き3Dポイントクラウドデータセットを提案する。 データセットは階層型ラベルとインスタンスベースのラベルの両方でポイントワイズアノテートされている。 本稿では,3次元点雲分割のための階層的学習問題を定式化し,様々な階層間の整合性を評価することを提案する。
  論文  参考訳（メタデータ） (2020-08-11T19:10:32Z)
• A Nearest Neighbor Network to Extract Digital Terrain Models from 3D Point Clouds [1.6249267147413524]
  本稿では,3Dポイントのクラウド上で動作し,エンド・ツー・エンドのアプローチを用いてシーンの基盤となるDTMを推定するアルゴリズムを提案する。 我々のモデルは近隣情報を学習し、これをポイントワイドでブロックワイドなグローバルな特徴とシームレスに統合する。
  論文  参考訳（メタデータ） (2020-05-21T15:54:55Z)
• Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study [2.6205925938720833]
  最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。 LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。 メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
  論文  参考訳（メタデータ） (2020-04-06T11:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。