論文の概要: NeFF-BioNet: Crop Biomass Prediction from Point Cloud to Drone Imagery
- arxiv url: http://arxiv.org/abs/2410.23901v1
- Date: Wed, 30 Oct 2024 04:53:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:01:46.602588
- Title: NeFF-BioNet: Crop Biomass Prediction from Point Cloud to Drone Imagery
- Title（参考訳）: NeFF-BioNet:ポイントクラウドからドローン画像への作物バイオマスの予測
- Authors: Xuesong Li, Zeeshan Hayder, Ali Zia, Connor Cassidy, Shiming Liu, Warwick Stiller, Eric Stone, Warren Conaty, Lars Petersson, Vivien Rolland,
- Abstract要約: 本稿では,バイオマス予測ネットワーク(BioNet)を,点雲やドローン画像など,さまざまなデータモダリティに適応するためのネットワークとして提案する。
我々のBioNetは、スパース3D畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの予測モジュールを利用して、ポイントクラウドやその他の3Dデータ表現を処理し、バイオマスを予測する。
ドローン画像のためのBioNetをさらに拡張するため,ニューラル・フィーチャーフィールド(NeFF)モジュールを統合し,3次元構造再構成と2次元意味的特徴の対応する3次元面への変換を可能にする。
- 参考スコア（独自算出の注目度）: 11.976195465657236
- License:
- Abstract: Crop biomass offers crucial insights into plant health and yield, making it essential for crop science, farming systems, and agricultural research. However, current measurement methods, which are labor-intensive, destructive, and imprecise, hinder large-scale quantification of this trait. To address this limitation, we present a biomass prediction network (BioNet), designed for adaptation across different data modalities, including point clouds and drone imagery. Our BioNet, utilizing a sparse 3D convolutional neural network (CNN) and a transformer-based prediction module, processes point clouds and other 3D data representations to predict biomass. To further extend BioNet for drone imagery, we integrate a neural feature field (NeFF) module, enabling 3D structure reconstruction and the transformation of 2D semantic features from vision foundation models into the corresponding 3D surfaces. For the point cloud modality, BioNet demonstrates superior performance on two public datasets, with an approximate 6.1% relative improvement (RI) over the state-of-the-art. In the RGB image modality, the combination of BioNet and NeFF achieves a 7.9% RI. Additionally, the NeFF-based approach utilizes inexpensive, portable drone-mounted cameras, providing a scalable solution for large field applications.
- Abstract（参考訳）: 作物バイオマスは植物の健康と収量に関する重要な洞察を与え、作物科学、農業システム、農業研究に不可欠である。
しかし、現在の測定方法は、労働集約的で破壊的で不正確であり、この特性の大規模定量化を妨げている。
この制限に対処するために、ポイントクラウドやドローン画像など、さまざまなデータモダリティに適応するために設計されたバイオマス予測ネットワーク(BioNet)を提案する。
我々のBioNetは、スパース3D畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの予測モジュールを利用して、ポイントクラウドやその他の3Dデータ表現を処理し、バイオマスを予測する。
ドローン画像のためのBioNetをさらに拡張するため、ニューラル・フィーチャーフィールド(NeFF)モジュールを統合し、視覚基礎モデルから対応する3次元表面への3次元構造再構成と2次元意味的特徴の変換を可能にする。
クラウドのモダリティの面では、BioNetは2つの公開データセットで優れたパフォーマンスを示し、最先端よりもおよそ6.1%の相対的改善(RI)を実現している。
RGB画像のモダリティでは、BioNetとNeFFの組み合わせは7.9%のRIを達成する。
さらに、NeFFベースのアプローチでは、安価でポータブルなドローン搭載カメラを使用し、大規模フィールドアプリケーションにスケーラブルなソリューションを提供する。
関連論文リスト
- Multi-modal classification of forest biodiversity potential from 2D orthophotos and 3D airborne laser scanning point clouds [47.679877727066206]
本研究では,2次元正光線と3次元空中レーザースキャン(ALS)点群からの深層学習に基づく近距離センシングデータの融合により,生物多様性の評価が向上するかどうかを検討する。
デンマークの温帯森林から採取した44.378個の正光とALS点雲のサンプルからなるBioVistaデータセットを紹介した。
深層ニューラルネットワーク(直視用ResNetとALS点雲用PointResNet)を用いて、各データモダリティの森林生物多様性ポテンシャルを評価する能力を調べ、それぞれ69.4%と72.8%の精度を達成した。
論文 参考訳（メタデータ） (2025-01-03T09:42:25Z) - Biomass phenotyping of oilseed rape through UAV multi-view oblique imaging with 3DGS and SAM model [18.13908148656987]
本研究は, 油種レイプの正確な3次元再構成とバイオマス推定のために, 3次元ガウススティング(3DGS)とSAM(Segment Anything Model)を統合した。
3DGSは精度が高く、ピーク信号対雑音比(PSNR)は27.43、トレーニング時間は7分49分であった。
SAMモジュールは、結合(mIoU)が0.961、F1スコアが0.980で高いセグメンテーション精度を達成した。
論文 参考訳（メタデータ） (2024-11-13T09:16:21Z) - fVDB: A Deep-Learning Framework for Sparse, Large-Scale, and High-Performance Spatial Intelligence [50.417261057533786]
fVDBは、大規模な3Dデータのディープラーニングのための新しいフレームワークである。
私たちのフレームワークは、既存のパイプラインとの相互運用性を可能にするPyTorchと完全に統合されています。
論文 参考訳（メタデータ） (2024-07-01T20:20:33Z) - MMCBE: Multi-modality Dataset for Crop Biomass Prediction and Beyond [11.976195465657236]
作物バイオマス推定のための多モードデータセット(MMCBE)
このデータセットは、216セットの多視点ドローン画像と、LiDAR点雲とハンドラベリングされた地上真実で構成されている。
我々は,MCCBEを用いた最先端の作物バイオマス推定手法を厳格に評価し,ドローン画像からの3D作物の復元やノベルビューレンダリングなど,新たな応用の可能性を探った。
論文 参考訳（メタデータ） (2024-04-17T11:06:42Z) - Breast Ultrasound Tumor Classification Using a Hybrid Multitask
CNN-Transformer Network [63.845552349914186]
胸部超音波(BUS)画像分類において,グローバルな文脈情報の収集が重要な役割を担っている。
ビジョントランスフォーマーは、グローバルなコンテキスト情報をキャプチャする能力が改善されているが、トークン化操作によって局所的なイメージパターンを歪めてしまう可能性がある。
本研究では,BUS腫瘍分類とセグメンテーションを行うハイブリッドマルチタスクディープニューラルネットワークであるHybrid-MT-ESTANを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:19:32Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - Classification of Single Tree Decay Stages from Combined Airborne LiDAR
Data and CIR Imagery [1.4589991363650008]
この研究は、初めて、個々の木(ノルウェー・スプルース)を5つの崩壊段階に自動的に分類した。
3つの異なる機械学習手法 - 3Dポイントクラウドベースのディープラーニング(KPConv)、畳み込みニューラルネットワーク(CNN)、ランダムフォレスト(RF)。
KPConv、CNN、RFの合計精度は88.8%、88.4%、85.9%に達した。
論文 参考訳（メタデータ） (2023-01-04T22:20:16Z) - Deep Learning Based 3D Point Cloud Regression for Estimating Forest
Biomass [15.956463815168034]
森林バイオマス資源の知識とその開発は、効果的な気候変動対策を実施する上で重要である。
空中LiDARを用いたリモートセンシングは、大規模に植生のバイオマスを測定するのに利用できる。
本稿では,3次元LiDAR点雲データから,木材の体積,地上バイオマス(AGB)および炭素を直接推定する深層学習システムを提案する。
論文 参考訳（メタデータ） (2021-12-21T16:26:13Z) - 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。
また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
論文 参考訳（メタデータ） (2021-09-06T16:00:20Z) - PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object
Detection [57.49788100647103]
LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。
現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。
本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
論文 参考訳（メタデータ） (2020-12-18T18:06:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。