論文の概要: PlantSegNeRF: A few-shot, cross-dataset method for plant 3D instance point cloud reconstruction via joint-channel NeRF with multi-view image instance matching
- arxiv url: http://arxiv.org/abs/2507.00371v1
- Date: Tue, 01 Jul 2025 01:59:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:22:59.159696
- Title: PlantSegNeRF: A few-shot, cross-dataset method for plant 3D instance point cloud reconstruction via joint-channel NeRF with multi-view image instance matching
- Title(参考訳): PlantSegNeRF:マルチビューイメージインスタンスマッチングを用いたジョイントチャネルNeRFによる3次元インスタンスポイントクラウド再構築のための数ショット・クロスデータセット手法
- Authors: Xin Yang, Ruiming Du, Hanyang Huang, Jiayang Xie, Pengyao Xie, Leisen Fang, Ziyue Guo, Nanjun Jiang, Yu Jiang, Haiyan Cen,
- Abstract要約: 本稿では,高精度のインスタンス点雲を生成するために,植物セグメンテーションニューラル放射場(PlantSegNeRF)と呼ばれる新しいアプローチを提案する。
PlantSegNeRFは、マルチビューイメージ上で2Dインスタンスセグメンテーションを実行し、対応するIDを持つ各臓器のインスタンスマスクを生成する。
平均的な改善は、mPrec、mRec、mCov、mWCovの11.7%、38.2%、32.2%、25.3%であった。
- 参考スコア(独自算出の注目度): 6.041945288896862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Organ segmentation of plant point clouds is a prerequisite for the high-resolution and accurate extraction of organ-level phenotypic traits. Although the fast development of deep learning has boosted much research on segmentation of plant point clouds, the existing techniques for organ segmentation still face limitations in resolution, segmentation accuracy, and generalizability across various plant species. In this study, we proposed a novel approach called plant segmentation neural radiance fields (PlantSegNeRF), aiming to directly generate high-precision instance point clouds from multi-view RGB image sequences for a wide range of plant species. PlantSegNeRF performed 2D instance segmentation on the multi-view images to generate instance masks for each organ with a corresponding ID. The multi-view instance IDs corresponding to the same plant organ were then matched and refined using a specially designed instance matching module. The instance NeRF was developed to render an implicit scene, containing color, density, semantic and instance information. The implicit scene was ultimately converted into high-precision plant instance point clouds based on the volume density. The results proved that in semantic segmentation of point clouds, PlantSegNeRF outperformed the commonly used methods, demonstrating an average improvement of 16.1%, 18.3%, 17.8%, and 24.2% in precision, recall, F1-score, and IoU compared to the second-best results on structurally complex datasets. More importantly, PlantSegNeRF exhibited significant advantages in plant point cloud instance segmentation tasks. Across all plant datasets, it achieved average improvements of 11.7%, 38.2%, 32.2% and 25.3% in mPrec, mRec, mCov, mWCov, respectively. This study extends the organ-level plant phenotyping and provides a high-throughput way to supply high-quality 3D data for the development of large-scale models in plant science.
- Abstract(参考訳): 植物点雲のオルガンセグメンテーションは、高分解能で正確なオルガンレベルの表現型形質抽出の前提条件である。
深層学習の急速な発展は、植物点雲のセグメンテーションに関する多くの研究を後押ししてきたが、既存の臓器のセグメンテーション技術は、分解能、セグメンテーション精度、そして様々な植物種に対する一般化可能性の限界に直面している。
本研究では,多視点RGB画像系列から高精度のインスタンス点雲を直接生成することを目的とした,植物セグメンテーションニューラル放射場(PlantSegNeRF)という新しいアプローチを提案する。
PlantSegNeRFは、マルチビューイメージ上で2Dインスタンスセグメンテーションを実行し、対応するIDを持つ各臓器のインスタンスマスクを生成する。
同一の植物器官に対応するマルチビューインスタンスIDは、特別に設計されたインスタンスマッチングモジュールを使用してマッチングされ、洗練される。
NeRFのインスタンスは、色、密度、意味、インスタンス情報を含む暗黙のシーンを描画するために開発された。
暗黙の場面は最終的に体積密度に基づいて高精度のプラントインスタンスポイント雲に変換された。
その結果、点雲のセマンティックセグメンテーションにおいて、PlantSegNeRFは、構造的に複雑なデータセットの2番目に高い結果と比較して、平均16.1%、18.3%、17.8%、24.2%の精度の向上を示した。
さらに重要なことに、PlanetSegNeRFは、プラントポイントクラウドインスタンスのセグメンテーションタスクにおいて大きなアドバンテージを示した。
全ての植物データセットにおいて、mPrec、mRec、mCov、mWCovにおける平均11.7%、38.2%、32.2%、25.3%の改善を達成した。
本研究は, 臓器レベルの植物表現型を拡張し, 植物科学における大規模モデル開発のための高品質な3Dデータ提供方法を提供する。
関連論文リスト
- Graph-Based Deep Learning for Component Segmentation of Maize Plants [0.0]
本稿では,LiDAR 3D Point Cloudデータセット上で個々の植物成分を検出するための新しいDeep Learningアーキテクチャを提案する。
このアーキテクチャはグラフニューラルネットワーク(GNN)の概念と主成分分析(PCA)による機能強化に基づいている。
グラフに基づく深層学習手法は,個々の植物成分を同定するためのセグメンテーション精度を高め,IoU平均の80%以上を達成している。
論文 参考訳(メタデータ) (2025-06-30T18:44:27Z) - Diffusion-based Data Augmentation for Nuclei Image Segmentation [68.28350341833526]
核セグメンテーションのための拡散法を初めて導入する。
このアイデアは、多数のラベル付き画像を合成し、セグメンテーションモデルを訓練することを目的としている。
実験の結果,10%のラベル付き実データセットを合成サンプルで拡張することにより,同等のセグメンテーション結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-10-22T06:16:16Z) - PointHPS: Cascaded 3D Human Pose and Shape Estimation from Point Clouds [99.60575439926963]
本稿では,実環境で捉えた点雲から正確な3次元HPSを実現するための基本的フレームワークであるPointHPSを提案する。
PointHPSは、カスケードアーキテクチャを通じてポイント機能を反復的に洗練する。
広範囲な実験により、ポイントHPSは強力な特徴抽出と処理方式を持ち、State-of-the-Art法より優れていることが示された。
論文 参考訳(メタデータ) (2023-08-28T11:10:14Z) - Eff-3DPSeg: 3D organ-level plant shoot segmentation using
annotation-efficient point clouds [1.5882586857953638]
本稿では,3次元植物撮影セグメンテーションのための弱教師付きフレームワーク Eff-3DPSeg を提案する。
大豆の高分解能点雲を低コストのフォトグラムシステムを用いて再構成した。
植物器官セグメンテーションのための弱教師付き深層学習法が提案された。
論文 参考訳(メタデータ) (2022-12-20T14:09:37Z) - CASSPR: Cross Attention Single Scan Place Recognition [43.68230981047338]
点雲に基づく位置認識(LiDAR)は、自律ロボットや自動運転車にとって重要なコンポーネントである。
現在のSOTA性能は、点ベースまたはボクセルベースの構造を用いて蓄積したLiDARサブマップ上で達成される。
クロスアテンショントランスを用いた点ベースおよびボクセルベースアプローチの融合手法としてCASSPRを提案する。
論文 参考訳(メタデータ) (2022-11-22T19:18:30Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳(メタデータ) (2022-07-31T21:39:15Z) - PST: Plant segmentation transformer for 3D point clouds of rapeseed
plants at the podding stage [5.010317705589445]
深層学習ネットワークプラントセグメンテーショントランス (PST)
PSTは、(i)動的ボクセル特徴エンコーダ(DVFE)と、(ii)デュアルウインドウが注意ブロックを設定してコンテキスト情報をキャプチャし、(iii)濃密な特徴伝搬モジュールで最後の密集点特徴マップを得る。
結果: PST と PST-PointGroup (PG) はセマンティックおよびインスタンスセグメンテーションタスクにおいて優れた性能を示した。
論文 参考訳(メタデータ) (2022-06-27T06:56:48Z) - DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic
Convolution [136.7261709896713]
本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。
提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。
また、現在の最先端よりも推論速度を25%以上向上させる。
論文 参考訳(メタデータ) (2020-11-26T14:56:57Z) - Stem-leaf segmentation and phenotypic trait extraction of maize shoots
from three-dimensional point cloud [8.392251372468412]
本稿では, 骨格抽出, 骨格に基づく粗い部分分割, 茎葉分類に基づく細部分分割の3段階からなる自動茎葉分割法を提案する。
植物の高さ、樹冠径、茎の高さと直径、葉の幅と長さを含む6つの表現型パラメータを正確に自動測定することができる。
提案したアルゴリズムは、完全に拡張された葉だけでなく、新しい葉をまとめて閉じることもできる。
論文 参考訳(メタデータ) (2020-09-07T13:58:09Z) - Two-View Fine-grained Classification of Plant Species [66.75915278733197]
本研究では,2視点の葉のイメージ表現に基づく新しい手法と,植物種の粒度認識のための階層的分類戦略を提案する。
シームズ畳み込みニューラルネットワークに基づく深度測定は、多数のトレーニングサンプルへの依存を減らし、新しい植物種に拡張性を持たせるために用いられる。
論文 参考訳(メタデータ) (2020-05-18T21:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。