論文の概要、ライセンス

# (参考訳) Grapevine Winter Pruning Automation:Grapevine Segmentation を用いた2次元プラントモデリングによる潜在的Pruning Points検出について [全文訳有]

Grapevine Winter Pruning Automation: On Potential Pruning Points Detection through 2D Plant Modeling using Grapevine Segmentation ( http://arxiv.org/abs/2106.04208v1 )

ライセンス: CC BY 4.0
Miguel Fernandes, Antonello Scaldaferri, Giuseppe Fiameni, Tao Teng, Matteo Gatti, Stefano Poni, Claudio Semini, Darwin Caldwell, Fei Chen(参考訳) グラペビンの冬刈りは複雑な作業であり、熟練した労働者が正しく実行する必要がある。 このタスクの複雑さは、時間がかかる理由でもある。 この操作が完了するのに約80~120時間かかることを考えると、大規模なブドウ園ではさらに重要であり、自動化システムはプロセスのスピードアップに役立つ。 そこで本稿では,ブドウ植物の代表的モデルを作成するために,ブドウ画像にオブジェクトセグメンテーションを行うことにより,この課題に取り組むための新しい多分野的手法を提案する。 第2に、この植物表現から潜在的な刈り取り点のセットを生成する。 a)データ取得とアノテーションのための方法論、(b)ブドウのセグメンテーションのためのニューラルネットワークの微調整、(c)推定されたセグメンテーションからブドウの代表的なモデルを作成する画像処理ベースの方法、および(d)ブドウのセグメンテーションを単純化した植物モデルに基づいて、プルーニングポイントの検出とローカライゼーションを行う可能性について述べる。 このアプローチでは、実際のプルーニングポイントの最終セットを導出するために、さらに選択することで、杖上の潜在的なプルーニングポイントのかなりのセットを特定できる。

Grapevine winter pruning is a complex task, that requires skilled workers to execute it correctly. The complexity of this task is also the reason why it is time consuming. Considering that this operation takes about 80-120 hours/ha to be completed, and therefore is even more crucial in large-size vineyards, an automated system can help to speed up the process. To this end, this paper presents a novel multidisciplinary approach that tackles this challenging task by performing object segmentation on grapevine images, used to create a representative model of the grapevine plants. Second, a set of potential pruning points is generated from this plant representation. We will describe (a) a methodology for data acquisition and annotation, (b) a neural network fine-tuning for grapevine segmentation, (c) an image processing based method for creating the representative model of grapevines, starting from the inferred segmentation and (d) potential pruning points detection and localization, based on the plant model which is a simplification of the grapevine structure. With this approach, we are able to identify a significant set of potential pruning points on the canes, that can be used, with further selection, to derive the final set of the real pruning points.
公開日: Tue, 8 Jun 2021 09:36:54 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Grapevine Winter Pruning Automation: On Potential Pruning Points Detection through 2D Plant Modeling using Grapevine Segmentation Grapevine Winter Pruning Automation:Grapevine Segmentation を用いた2次元プラントモデリングによる潜在的Pruning Points検出について 0.78
Miguel Fernandes1,2, Antonello Scaldaferri1, Giuseppe Fiameni3, Tao Teng1,4, Matteo Gatti4, Stefano Poni4, Claudio Semini5, Member, IEEE, Darwin Caldwell1, Senior Member, IEEE, Fei Chen6, Senior Member, IEEE Miguel Fernandes1,2, Antonello Scaldaferri1, Giuseppe Fiameni3, Tao Teng1,4, Matteo Gatti4, Stefano Poni4, Claudio Semini5, Member, IEEE, Darwin Caldwell1, Senior Member, IEEE, Fei Chen6, Senior Member, IEEE 0.89
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] V C . 8 ] 略称はC。 0.73
s c [ 1 v 8 0 2 4 0 sc [ 1 v 8 0 2 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract— Grapevine winter pruning is a complex task, that requires skilled workers to execute it correctly. 抽象 — Grapevineの冬刈りは複雑な作業であり、熟練した労働者が正しく実行する必要がある。 0.68
The complexity of this task is also the reason why it is time consuming. このタスクの複雑さは、時間がかかる理由でもある。 0.72
Considering that this operation takes about 80-120 hours/ha to be completed, and therefore is even more crucial in largesize vineyards, an automated system can help to speed up the process. この操作が完了するのに約80~120時間かかることを考えると、大規模なブドウ園ではさらに重要であり、自動化システムはプロセスのスピードアップに役立つ。 0.75
To this end, this paper presents a novel multidisciplinary approach that tackles this challenging task by performing object segmentation on grapevine images, used to create a representative model of the grapevine plants. そこで本稿では,ブドウ植物の代表的モデルを作成するために,ブドウ画像にオブジェクトセグメンテーションを行うことにより,この課題に取り組むための新しい多分野的手法を提案する。 0.71
Second, a set of potential pruning points is generated from this plant representation. 第2に、この植物表現から潜在的な刈り取り点のセットを生成する。 0.69
We will describe (a) a methodology for data acquisition and annotation, (b) a neural network fine-tuning for grapevine segmentation, (c) an image processing based method for creating the representative model of grapevines, starting from the inferred segmentation and (d) potential pruning points detection and localization, based on the plant model which is a simplification of the grapevine structure. a)データ取得とアノテーションのための方法論、(b)ブドウのセグメンテーションのためのニューラルネットワークの微調整、(c)推定されたセグメンテーションからブドウの代表的なモデルを作成する画像処理ベースの方法、および(d)ブドウのセグメンテーションを単純化した植物モデルに基づいて、プルーニングポイントの検出とローカライゼーションを行う可能性について述べる。 0.81
With this approach, we are able to identify a significant set of potential pruning points on the canes, that can be used, with further selection, to derive the final set of the real pruning points. このアプローチでは、実際のプルーニングポイントの最終セットを導出するために、さらに選択することで、杖上の潜在的なプルーニングポイントのかなりのセットを特定できる。 0.57
I. INTRODUCTION Automation with agri-food robots to accomplish various tasks in the field is a long-time challenge recognized by the community. I 導入 現場で様々なタスクをこなすためのアグリフードロボットによる自動化は、コミュニティが認識した長年の課題である。 0.52
A recent review article about agricultural robotics [1] states that perception is a significant challenge in the field. 農業ロボティクスに関する最近のレビュー記事 [1] では、この分野では知覚が重要な課題であると述べている。 0.61
Robot perception is the ability for the robot to understand the environment and the objects (crops, fruits, etc) that it has to deal with. ロボットの知覚は、ロボットが対処しなければならない環境や物体(作物、果物など)を理解する能力である。 0.75
The robot visual perception in our application refers to object segmentation, finding the object boundaries in an image, and object detection, the recognition of the interested parts of the objects inside a given image. 本アプリケーションにおけるロボットの視覚知覚は,物体のセグメンテーション,画像内の物体境界の発見,物体検出,対象画像内の物体の関心部分の認識などを指す。 0.80
An This research is supported by the project “Grapevine Recognition, Manipulation and Winter Pruning Automation” funded by IIT-Unicatt Joint Lab. 安 本研究は, IIT-Unicatt Joint Lab が出資したプロジェクト “Grapevine Recognition, Manipulation and Winter Pruning Automation” が支援している。 0.68
(Corresponding author: Fei Chen) (著者:フェイ・チェン) 0.57
1Miguel Fernandes, Antonello Scaldaferri, Tao Teng, Darwin Caldwell are with Active Perception and Robot Interactive Learning Laboratory, Department of Advanced Robotics, Istituto Italiano di Tecnologia, Via Morego 30, 16163, Genova, Italy (e-mail: name.surname@iit.it) . 1Miguel Fernandes, Antonello Scaldaferri, Tao Teng, Darwin Caldwellは、Active Perception and Robot Interactive Learning Laboratory, Department of Advanced Robotics, Istituto Italiano di Tecnologia, Via Morego 30, 16163, Italy, Genova (e-mail: name.surname@iit.it) と共にいる。 0.93
2Miguel Fernandes is with Department of Informatics, Bioengineering, Robotics and System Engineering, Universit`a di Genoa, Viale Causa 13, 16145 Genova, Italy (e-mail: miguel.ferreira@iit. it). 2Miguel Fernandes は Informatics, Bioengineering, Robotics and System Engineering, Universit`a di Genoa, Viale Causa 13 16145 Genova, Italy (e-mail: miguel.ferreira@iit. it) に所属している。 0.92
3Giuseppe Fiameni is with NVIDIA AI Technology Center (NVAITC), 3Giuseppe FiameniはNVIDIA AI Technology Center(NVAITC)と提携している。 0.79
Italy (email: gfiameni@nvidia.com) . イタリア (email: gfiameni@nvidia.com) 。 0.92
4Tao teng, Matteo Gatti, Stefano Poni are with Department of Sustainable Crop Production, Universit`a Cattolica del Sacro Cuore, Via Emilia Parmense 84, 29122 Piacenza, Italy (e-mail: name.surname@unicatt .it). 4Tao teng, Matteo Gatti, Stefano Poniは、持続可能な作物生産部門、Universit`a Cattolica del Sacro Cuore, Via Emilia Parmense 84, 29122 Piacenza, Italy (e-mail: name.surname@unicatt .it)に所属している。 0.83
5Claudio Semini is with Dynamic Legged Systems (DLS) lab, Istituto Italiano di Tecnologia, Via Morego 30, 16163, Genova, Italy (e-mail: name.surname@iit.it) . 5Claudio Semini は Dynamic Legged Systems (DLS) lab, Istituto Italiano di Tecnologia, Via Morego 30, 16163, Genova, Italy (e-mail: name.surname@iit.it) と提携している。 0.87
6Fei Chen is with Department of Mechanical and Automation Engineering, T-Stone Robotics Institute, The Chinese University of Hong Kong, Chung Chi Rd, Ma Liu Shui, Hong Kong (e-mail: f.chen@ieee.org). 6fei chenは、香港大学のt-stone robotics institute、香港のchung chi rd、ma liu shui(eメール:f.chen@ieee.org)の機械・オートメーション工学部門に所属している。 0.71
Fig. 1: The top half shows an example of manual grapevine pruning and the bottom half presents our robot performing grapevine pruning along with the desired plant modeling, with the dark blue representing a main cordon, light blue the canes, yellow the nodes and red mark the pruning points. フィギュア。 1: 上半分は手作業のブドウ刈りの例を示し、下半分は所望の植物モデルと共にブドウ刈りを行うロボットを示し、暗青色はメインコードン、淡青色は杖、黄色はノード、赤は刈り取りポイントを表す。
訳抜け防止モード: フィギュア。 1 : 上半身は手作業によるブドウ栽培の例を示す 下半分は 望まれる植物モデルとともに ブドウ畑を耕すロボットです ダークブルーはメインのコードンを表し ライトブルーは杖を表しています 黄色はノード、赤はプルーニングポイントをマークします。
0.61
important task to perform in a vineyard is winter pruning, a complex operation that needs to be completed during the dormant season [2]. ブドウ畑で行う重要なタスクは、冬刈りであり、休眠期に完了する必要のある複雑な作業である [2] である。 0.67
Performing a balanced winter pruning allows a good compromise between remunerative yield and desired grape quality hence maximizing grower’s income [3], [4]. バランスのとれた冬の刈り取りを行うことで、報酬収量と所望のブドウの品質との間に良い妥協が可能となり、栽培者の収入を最大化します[3],[4]。
訳抜け防止モード: バランスのとれた冬の刈り込みを行う 換算収と所望のブドウ品質との良好な妥協が可能となり、栽培者の収入を最大化できる。 [ 4 ] .
0.73
Figure 1 shows a comparison between a humanperformed pruning and a robot-performed pruning, showing similarities. 図1は、人間型プルーニングとロボット型プルーニングを比較し、類似性を示している。 0.67
To perform this task in an autonomous way, there are some steps that need to be considered, such as creating an object segmentation dataset where the primary object is the grapevine in a dormant season scenario. このタスクを自律的に実行するには、休眠期のシナリオで主要なオブジェクトがグレープヴィンであるオブジェクトセグメンテーションデータセットを作成するなど、考慮すべきステップがいくつかある。 0.68
This dataset will require more time and effort for annotation with respect to annotating the bounding boxes only. このデータセットは、バウンディングボックスのみにアノテーションをアノテートするために、より多くの時間と労力を必要とする。 0.56
The second step is the training of a neural network for object segmentation, where the data that are available may not be accurate enough, due to large variations in vine age and size, training and the inherent randomness of nature. 第2のステップは、オブジェクトのセグメンテーションのためのニューラルネットワークのトレーニングで、利用可能なデータは、vineの年齢やサイズ、トレーニング、自然の固有のランダム性などによって、正確ではない可能性がある。 0.69
After the neural network is trained with this dataset, a third step is the usage of its output to generate the potential pruning points. このデータセットでニューラルネットワークをトレーニングした後、第3のステップは、潜在的なプルーニングポイントを生成するために出力を使用することだ。 0.69
This can be done by analyzing the network inference, connecting the different grapevine organs to each other in a graph based structure that allows the generation of the desired potential pruning points on a spur-pruned grapevine. これは、異なるブドウ器官をグラフベース構造で連結するネットワーク推論を解析することで実現でき、スパルプしたブドウ品種上で所望の電位プラニングポイントを生成することができる。 0.72
Figure 2 shows the entire pipeline used by our approach. 図2は、私たちのアプローチが使用するパイプライン全体を示しています。 0.58
The main contribution of this paper is the use of a representative model describing the actual grapevine architecture. 本論文の主な貢献は、実際のブドウのアーキテクチャを記述する代表モデルの使用である。 0.81
This 2D model allows the identification of potential pruning points by using the plant structure information encoded in it, without the need to use feature descriptors (for points of interest detection), feature matching algorithms or stereo この2Dモデルにより、特徴記述子(関心点検出のための)、特徴マッチングアルゴリズム、ステレオを使わずに、植物構造情報をコード化して潜在的刈り取り点を識別することができる。 0.81
英語(論文から抽出)日本語訳スコア
Fig. 2: Robotic grapevine winter pruning flowchart. フィギュア。 2: ロボットブドウの冬刈りフローチャート。 0.60
The meaning of the colors in the 2nd and 3rd step are explained later in Fig 3 and Fig 4 第2段と第3段の色の意味は、後にfig 3とfig 4で説明される。 0.65
camera systems (for 3D reconstruction). カメラシステム(3D再構築用)。 0.81
As such, we propose the creation of an object segmentation dataset, described in Section III, a neural network fine tuning to perform object segmentation is described in Section IV, along with the plant graph generation and potential pruning points detection in Section V. We later demonstrate our experimental setup, discussing the achieved results in Section VI. そこで本論文では,第3節で記述されたオブジェクトセグメント化データセットの作成について,第4節でオブジェクトセグメント化を行うニューラルネットワークの微調整,第5節で検出される植物グラフの生成,潜在的刈り込み点の検出について述べる。 0.65
In the end, we conclude showing advantages and disadvantages, giving an overall summary, of our approach and presenting possible future work in Section VII. 最終的に、我々は、アドバンテージとデメリットを示し、概略を述べ、我々のアプローチを概観し、第7節で将来の可能性を示す。 0.61
II. RELATED WORK In the deep learning field, various object segmentation [5], detection [6], and tracking algorithms [7] have been introduced by the computer vision and robotics communities in the past years. II。 関連作業 ディープラーニング分野においては,過去数年間,コンピュータビジョンやロボティクスのコミュニティによって,様々な物体のセグメンテーション [5],検出 [6],追跡アルゴリズム [7] が導入されている。 0.74
Some of these studies have also been applied on the agri-food field, such as fruit detection [8] for yield estimation purposes [9], weed removal [10], [11], plant phenotyping [12] dealt with potential pruning points generation in long-cane pruned grapevines [13]. これらの研究は,収量推定のための果実検出 [8],雑草除去 [10], [11],植物表現型 [12] などのアグリフード分野にも応用されている [13] 。
訳抜け防止モード: これらの研究のいくつかは、アグリ-食品分野にも適用されている。 例えば果実検出[8]は収量推定[9]です 雑草除草 [10 ], [11 ], 植物表現型 [12 ] は, 長期にわたる潜在的刈り込み点の発生に対処した。
0.82
The authors in [10] deal with the challenge introduced by the variety of work regions in the fields, lighting, weather conditions, which leads to the difficulties for semantic segmentation of crop fields. 10] 著者らは, 畑の作業領域, 照明, 気象条件などによって引き起こされる課題に対処し, 作物のセグメンテーションが困難であることを明らかにした。 0.67
The authors in [12] present a proof of concept for detecting and quantifying plant organs for yield estimation without using destructive means. 筆者らは, [12] 破壊的手法を用いずに, 収量推定のための植物器官の検出と定量化を行う概念の実証を行った。
訳抜け防止モード: 12]の著者は概念実証を提示します 破壊手段を使わずに、収量推定のための植物器官の検出及び定量化。
0.75
This approach is based on automated detection, localization, count and analysis of plant parts used to estimate yield.The authors in [7] present a new public dataset with grape clusters annotated in 300 images and a new annotation with interactive image segmentation to generate object masks, a new public dataset for grape detection and instance segmentation containing images, bounding boxes, masks and an evaluation of two state-of-the-art methods for object detection, object segmentation and a fruit counting methodology. This approach is based on automated detection, localization, count and analysis of plant parts used to estimate yield.The authors in [7] present a new public dataset with grape clusters annotated in 300 images and a new annotation with interactive image segmentation to generate object masks, a new public dataset for grape detection and instance segmentation containing images, bounding boxes, masks and an evaluation of two state-of-the-art methods for object detection, object segmentation and a fruit counting methodology. 0.93
Authors in [13] used a trinocular stereo cameras system and correspondence algorithms to obtain a 3D reconstruction of the plant, useful to compute the pruning points in the wild. 13]の著者は、三眼立体カメラシステムと対応アルゴリズムを使って植物の3D再構成を行い、野生の刈り取りポイントを計算するのに役立ちました。 0.73
These representative works demonstrated several important concepts, such as real-time plant segmentation [11], the more in-depth plant feature extraction for finding multiple parts of the plant [12], and an annotation tool to generate a segmentation dataset quickly [7] and a pruning generation system. これらの代表的研究は, リアルタイム植物セグメンテーション[11], 植物の複数部分を見つけるためのより深い植物特徴抽出, セグメンテーションデータセットを迅速に生成するアノテーションツール [7] とプルーニング生成システムなど, いくつかの重要な概念を実証した。 0.84
However, an approach to prune without the use of complex stereo camera systems or the usage of mobile platform that covers the grapevine, is still missing in the literature. しかし、複雑なステレオカメラシステムやブドウ畑を覆うモバイルプラットフォームの使用を伴わないプルーンへのアプローチは、文献にはまだ欠落している。
訳抜け防止モード: しかし,複雑なステレオカメラシステムを用いないpruneへのアプローチ あるいは、ブドウ畑をカバーするモバイルプラットフォームの利用は、まだ文献に欠けている。
0.65
To the best knowledge of the authors, this is the first time that a successful robot is able to prune a grapevine 著者たちの知る限りでは、成功したロボットがブドウを刈り取ることができるのはこれが初めてだ 0.73
using a mobile platform carrying only a robotic arm, with a pruning tool and a depth camera. ロボットアームのみを携帯するモバイルプラットフォームを使用し、刈り取りツールと深度カメラを備えている。 0.77
III. DATASET III。 データセット 0.53
First of all, a dataset is needed to train the neural network for grapevine segmentation. まず第一に、ブドウのセグメンテーションのためにニューラルネットワークをトレーニングするためにデータセットが必要です。 0.62
We decided to create a dataset with three classes, the main cordon, the cane and the node. 私たちは、メインコードン、杖、ノードの3つのクラスからなるデータセットを作成することにしました。 0.64
An example of these annotation concepts can be seen in Fig. これらのアノテーション概念の例は、図に示すことができる。 0.71
3. The main cordon is the horizontal static structure and the canes are the plant organs that normally show a vertical orientation. 3. 主コードンは水平の静的構造であり、杖は通常垂直方向を示す植物器官である。
訳抜け防止モード: 3. 主コードンは水平静的構造と水平構造である 杖は通常垂直方向を示す植物器官である。
0.80
The nodes are structures present on the canes where new shoots may grow. ノードは、新しいシュートが成長する可能性がある杖に存在する構造である。 0.57
Dividing the grapevine into these three main categories allows us to generate potential pruning points. これら3つの主要なカテゴリにブドウを分割することで、潜在的に刈り取ることができる。
訳抜け防止モード: ブドウを3つの主要なカテゴリーに分ける 潜在的なプルーニングポイントを 生成できるのです
0.77
A. Data Acquisition The data acquisition was performed in an experimental vineyard of one of the Vinum project partner. A。 データ取得 データ取得は、vinumプロジェクトパートナーの1人の実験用ブドウ園で行われた。 0.74
Data was captured using a common 4k Canon compact camera, by recording a video closeup of a grapevine row segment. データは4kキヤノンのコンパクトカメラで撮影され、ブドウの列のクローズアップを録画した。 0.65
The frames from the video were extracted using ffmpeg into a total of 171 frames. ビデオのフレームは、ffmpegを使って合計171フレームに抽出された。 0.82
These frames have a resolution of 3840×2160 pixels. これらのフレームの解像度は3840×2160ピクセルである。 0.66
Currently we are only using these images, with the possibility in the future to add more via additional capture or by performing data augmentation. 現時点ではこれらのイメージのみを使用しており、将来的には追加キャプチャやデータ拡張によってさらに追加する予定です。 0.61
B. Data Annotation B。 データアノテーション 0.74
The dataset is being annotated following the COCO segmentation dataset, with the three mentioned classes, the main cordon, the cane and the node. データセットはCOCOセグメンテーションデータセットに従って注釈付けされており、3つのクラス、メインコードン、杖、ノードがある。 0.68
We chose the COCO format for the annotation since it is a common format for segmentation annotation, which contributes to a higher availability of annotation tools that use this format, as well as some neural network frameworks provide built-in processing of this format. セグメンテーションアノテーションの一般的なフォーマットであるため、アノテーション用のcocoフォーマットを選択しました。これにより、このフォーマットを使用するアノテーションツールの高可用性と、このフォーマットの組み込み処理を提供するニューラルネットワークフレームワークが提供されます。 0.69
The annotation tool being used is COCO annotator, a web-based tool that is designed for efficiently label images. アノテーションツールはCOCOアノテータで、画像のラベル付けを効率的にするためのウェブベースのツールである。 0.74
This tool also includes the possibility of connecting to an external neural network allowing automatic annotation of an image using a pre-trained neural network, discussed in Section IV. このツールはまた、第4節で議論された事前訓練されたニューラルネットワークを使用して、画像の自動アノテーションを可能にする外部ニューラルネットワークに接続する可能性を含んでいる。
訳抜け防止モード: このツールには、トレーニング済みニューラルネットワークを使用して画像の自動アノテーションを可能にする外部ニューラルネットワークへの接続も含んでいる。 第4節で登場。
0.69
This feature has been used for aiding in the annotation of more samples, as described in Section IV. この機能は、セクション4で説明されているように、より多くのサンプルのアノテーションを支援するために使われてきた。
訳抜け防止モード: この機能は 第4節で述べたように、より多くのサンプルのアノテーションを支援する。
0.64
The 171 captured images were annotated and then split into 136 training image and 35 evaluation images. 171枚の撮影画像は注釈付きで136枚の訓練画像と35枚の評価画像に分割された。 0.64
We are not using a test set due to the fact that the actual test is going to be preformed with the actual robot on a vineyard. 私たちは、実際のテストがブドウ畑の実際のロボットでプリフォームされるという事実から、テストセットを使用していません。 0.78
The images are being annotated in their original size, allowing to downscale the image as required. 画像は元のサイズで注釈付けされており、必要に応じて画像をダウンスケールすることができる。 0.64
As mentioned, Fig 3 presents an example of the annotations created, where blue represents the main cordon, orange represents the canes and 上述したように、Fig 3は作成したアノテーションの例を示しており、青はメインコードン、オレンジは杖を表す。 0.74
Input RGB Object Segmentation(Mask R-CNN)Plant Graph & PotentialPruning Points GenerationRobotic Pruning 入力 rgb object segmentation(mask r-cnn)plant graph & potentialpruning points generationrobotic pruning 0.81
英語(論文から抽出)日本語訳スコア
Fig. 3: Example of an annotation, where blue represents the main cordon class, orange the cane class and green the node class. フィギュア。 3: アノテーションの例では、青はメインのコードンクラス、オレンジは杖クラス、緑はノードクラスを表す。 0.57
green represents the nodes. 緑はノードを表します。 0.74
These images are being annotated by two different persons, although none of them being an expert in the area, and in the future the dataset shall be reviewed and annotated by experts in the area. これらの画像は、2人の異なる人物によって注釈付けされているが、この分野の専門家である者はいない。
訳抜け防止モード: これらの画像は2人の異なる人物によって注釈付けされていますが、 専門家は誰もいません 将来は 地域の専門家が データセットをレビューし 注釈を付けます
0.75
IV. NEURAL NETWORK IV。 ニューラルネットワーク 0.66
In order to solve the proposed task, we used a deep neural network that is able to perform object detection and segmentation. 提案する課題を解決するために,オブジェクト検出とセグメンテーションが可能な深層ニューラルネットワークを用いた。 0.68
The currently used framework is Detectron2 [14], Facebook AI Research’s implementation of state-of-the-art detection algorithms, using Pytorch and including a model zoo with baselines trained, presenting the obtained result metrics. 現在使用されているフレームワークは、pytorchを使用して、ベースラインをトレーニングしたモデル動物園を含む、facebook ai researchによる最先端検出アルゴリズムの実装であるdetectron2 [14]である。 0.66
These metrics are bounding box and mask Average Precision, train time per iteration, inference time per image and the required memory for the training. これらのメトリクスは、バウンディングボックスとマスク平均精度、イテレーション毎のトレーニング時間、画像毎の推論時間、トレーニングに必要なメモリである。 0.64
The base network that is being used is the Mask R-CNN with several backbones models. 現在使用されているベースネットワークは、いくつかのバックボーンモデルを備えたMask R-CNNである。 0.63
The first being tested was R50-FPN, a Residual Network with 50 layers, combined with Feature Pyramid Networks. 最初のテストは、50層のResidual NetworkとFeature Pyramid Networksを組み合わせたR50-FPNだった。 0.83
For experimentation two additional models were tested, the R101-FPN and the X101-FPN, where the first is a Residual Network with 101 layers with the same structure as the R50-FPN and the second is an ResNeXt with 101 layers. 実験のために、R101-FPNとX101-FPNの2つのモデルが試験され、1つはR50-FPNと同じ構造を持つResidual Networkで、もう1つは101層を持つResNeXtである。 0.77
This ResNext is an improvement on the original ResNet network, considering a new dimension named cardinality on top for the normal height and depth of a neural network, which is the size of the set of transformations. このresnextは、変換の集合の大きさであるニューラルネットワークの通常の高さと深さについて、上面の濃度と呼ばれる新しい次元を考慮することで、オリジナルのresnetネットワークの改善である。 0.74
The network is being trained using the default training procedure of Detectron2. ネットワークは Detectron2 のデフォルトのトレーニング手順を使ってトレーニングされている。 0.72
This procedure creates a model, optimizer, scheduler and dataloader with the default configurations provided along with the model. この手順では、モデルと一緒にデフォルト設定を提供するモデル、オプティマイザ、スケジューラ、データローダを作成する。 0.66
It then loads the pre-trained model weights, initializes logging functions and starts to follow a standard training workflow with a single-optimizer single-datasource iterative optimization. その後、トレーニング済みのモデルの重みをロードし、ロギング関数を初期化し、シングルオプティマイザの単一データソース反復最適化による標準的なトレーニングワークフローに従う。 0.67
The training hyperparameters are the default ones, with the only changes being the batch size changed to 4, from original value 16, and the number of training iterations that was changed to 50000, from the original 270000. トレーニングハイパーパラメータはデフォルトのもので、バッチサイズがオリジナル値16から4に、トレーニングイテレーション数がオリジナルの270000から50000に変更されただけである。
訳抜け防止モード: トレーニングハイパーパラメータはデフォルトであり、変更はただ1つです。 バッチサイズはオリジナル値16から4に変更された。 訓練の回数は 当初の270000から50000に変更された。
0.71
These changes were due to time and hardware constraints. これらの変更は時間とハードウェアの制約によるものだ。 0.67
V. PLANT GRAPH GENERATION AND POTENTIAL V.植物図生成及び電位 0.60
PRUNING POINTS DETECTION After obtaining the inference produced by the trained neural network, an additional layer of processing is needed to find the desired potential pruning points. 刈り取り点検出 訓練されたニューラルネットワークによって生成された推論を得た後、所望のポテンシャルプラニングポイントを見つけるために、追加の処理層が必要である。 0.51
The method that Fig. その方法は フィギュア。 0.58
4: An output example of potential pruning points generation overlaid on the segmentation output, where blue represents the main cordon class, orange the cane class and green the node class, with the red markers representing the generated potential pruning points. 4: セグメンテーション出力上の潜在的プルーニングポイント生成の出力例では、青はメインコードンクラス、オレンジは杖クラス、緑はノードクラス、赤は生成された潜在的プルーニングポイントを表す。
訳抜け防止モード: 4 : セグメンテーション出力におけるpruning point生成の出力例 青はコルドンのメインクラス、オレンジは杖のクラスを表します そして、ノードクラスは緑になり、赤いマーカーは生成された潜在的な刈り取りポイントを表します。
0.78
we decided to use was the creation of a processing layer that interprets this inference by understanding how the several segments are related to each other. 私たちはこの推論を解釈する処理層を作ることに決めました。 いくつかのセグメントが相互にどのように関連しているかを理解することで。
訳抜け防止モード: 使用するのは処理層を作り いくつかのセグメントが相互にどのように関連しているかを理解することで、この推論を解釈する。
0.68
A. Plant Graph Generation A。 植物グラフ生成 0.73
The data structure used to host these data is a tree-shaped graph, with the main cordon as the root element. これらのデータをホストするために使用されるデータ構造は木型のグラフで、主コードンがルート要素である。 0.72
Then, there are canes connected to the main cordon, or to other canes. 次に、メインコーディオンまたは他の杖に接続された杖がある。 0.48
The leaf elements are nodes, or canes that have no nodes on them. 葉要素はノードまたはその上にノードを持たない杖である。 0.77
The important concept that we want to analyze is the relation between canes, and nodes on the canes, in order to obtain accurate potential pruning points. 私たちが分析したい重要な概念は、正確な潜在的な刈り取り点を得るために、杖と杖上のノードの関係である。 0.66
Figure 4 presents an example of a created plant graph overlaid on the segmentation output. 図4は、セグメンテーション出力の上に作成された植物グラフの例を示します。 0.70
This tree-shaped graph connects the various grapevine inferred items, showing the topographical structure of the plant. この木形グラフは、様々なブドウの推論されたアイテムを連結し、植物の地形構造を示す。 0.65
Each grapevine item consists of a unique identifier number, bounding box coordinates, score, segmentation mask, class identifier, class name, class color, item color, center, thickness, distance from the parent, depth and parent. 各ブドウ項目は、一意な識別子番号、バウンディングボックス座標、スコア、セグメンテーションマスク、クラス識別子、クラス名、クラス色、アイテム色、中心、厚さ、親からの距離、深さ、親からなる。 0.74
This item is based on the common aspects of the neural network classes, and extended depending on the class, where the main cordon contains a list of canes, sorted by their distance to the parent, the canes have a list of nodes, sorted using the same metric. この項目は、ニューラルネットワーククラスの共通的な側面に基づいており、クラスによって拡張されている。メインコードには、親との距離によってソートされる杖のリストがあり、杖は同じメトリックを使用してソートされるノードのリストを持っている。 0.72
In the end, the graph’s root node is the main cordon item. 最後に、グラフのルートノードがメインのcordonアイテムとなる。 0.56
There are three sets of connections in the graph structure, the “main cordon to canes” set, relating the main cordon to its connected canes, the “cane-to-cane proximity” set relating each cane to its proximal canes and the “cane to nodes” set relating each cane to its connected nodes. グラフ構造には3つの接続セットがあり、"main cordon to canes" セット、"main cordon to the connected canes" 、"cane-to-cane near" セット、"cane-to-cane near" セット、"cane to node" セット、"cane to the connected node" がある。 0.75
Algorithm 1 presents a generic method used to associate the canes to their respective main cordon. アルゴリズム1は、それぞれのメインコードンに杖を関連付けるのに使用される一般的な方法を示す。
訳抜け防止モード: アルゴリズム1は使用される一般的な方法を示す 杖をそれぞれのメインコードンに関連付けます
0.75
It achieves this by using an auxiliary matrix containing all main cordon instances, with shape nM C × H × W , where nM C is the number of main cordons inferences, H and W being the height and width of the input image. nm c を主コーディオンの推測数、h と w を入力画像の高さと幅とする形状 nm c × h × w の全ての主コーディオンインスタンスを含む補助行列を用いてこれを実現する。
訳抜け防止モード: これは、すべての主コードンインスタンスを含む補助行列を使用することによって達成される。 形状 nM C × H × W では、nM C は主コードンの推測数、H と W は入力画像の高さと幅である。
0.77
As 1 shows, each main cordon segmentation mask (mask) is inserted into the matrix (masksA) with the corresponding identifier number (IDM C), increased by 1, leaving 0 as the background class, at its non-zero values. 1が示すように、メインコードンセグメンテーションマスク(マスク)は、対応する識別子番号(IDM C)で行列(マスクA)に挿入され、1で増加し、0をバックグラウンドクラスとして非ゼロ値に残す。 0.77
∀mask ∈ masksM C : シュマスク ∈ masksM C : 0.79
masksA[i] = mask ∗ (IDsM C[i] + 1), masksA[i] = mask ∗ (IDsM C[i] + 1) 0.79
(1) i = 1, ..., nM C (1) i = 1, ..., nM C 0.80
英語(論文から抽出)日本語訳スコア
Algorithm 1: Get connections between two sets of masks parameters: dilation, max iter, n input input output foreach mask ∈ masksB do アルゴリズム1:2つのマスクパラメータ間の接続を取得する:Dilation, max iter, n input output foreach mask ∈ masksB do 0.85
: masksA → Mask group A : masksB → Mask group B : connections → Map of connections while iter ≤ max it and not(connected) do : masksA → Mask group A : masksB → Mask group B : connection → Map of connection while iter ≤ max it and not(connect) do 0.84
if iter > 0 then Dilate mask iter > 0 ならば、マスクをダイレートする 0.64
end Get the indices of mask’s non-zero values Obtain the corresponding values on masksA if There are non zero correspondences then end マスクの非ゼロ値のインデックスを取得する A が 0 でない場合、マスクの対応する値を取得する。 0.77
Get the lowest correspondence Get the intersection with mask if Intersection is in the nth slot then Add connection to connections Set connected to true もし交点がn番目のスロットにあるなら、最も低い対応でマスクとの交点を取得し、trueに接続された接続セットに接続を追加する。 0.60
end end iter + + 終わり end (複数形 ends) 0.57
end end the unique values in the matrix at 終わり 終わり 行列におけるユニークな値 0.73
For each cane segmentation mask the row and column indices of its non-zero values are searched and then used to get these indices, across all the main cordon segmentation masks. 各杖セグメンテーションマスクでは、行と列の非ゼロ値のインデックスが検索され、主要なコードンセグメンテーションマスク全体にわたってこれらのインデックスを取得するために使用される。
訳抜け防止モード: それぞれの杖セグメンテーションマスクにおいて、その非ゼロ値の行と列のインデックスが検索される メインのコーデオン セグメンテーション マスクの向こう側で インデックスを取得しました
0.78
This way we can know which is the overlapping main cordon. このようにして、重なり合うメインコードンがどれであるかがわかる。 0.45
Then, dividing the cane mask into n different slots, arranged in a vertical manner, we select the main cordon that overlaps the cane in the nth slot, if it is present. そして, 杖マスクをn個の異なるスロットに分割し, 垂直に配置し, n個のスロットに重複するメインコードンを選択する。 0.53
It may happen that the cane does not overlap with any main cordon inference due to the imperfection of the inference, and as such, a solution was found performing an incremental dilation of the cane segmentation mask until a main cordon is found or a maximum number of dilations is reached. 推定の不完全性により、杖が主コードンの推論と重なり合っていない場合もあり、主コードンが見つかるか、最大数のダイレーションに達するまで、杖セグメンテーションマスクの漸進的な拡張を行う溶液が発見された。 0.45
The number of dilations, the size of the dilation and the number of vertical slots are user-defined parameters for this algorithm. ディレーション数、ディレーションのサイズ、垂直スロット数は、このアルゴリズムのユーザ定義パラメータである。 0.61
The same method can be iteratively used to find the connections between the proximal canes. 同じ方法は、近位杖間の接続を見つけるために反復的に使用できる。 0.68
The initial search field is composed only by the group of canes already connected to the main cordon. 初期探索フィールドは、既にメインコードンに接続されている杖のグループによってのみ構成される。 0.70
At each iteration new connections are searched for the non connected canes among the connected canes (the search field), using the same overlapping and dilation concepts. 各イテレーションにおいて、同じ重なり合いと拡張の概念を用いて、接続された杖(検索フィールド)間の非連結な杖を検索する。 0.56
These newly found connections are then added to the final connections set and the two groups of masks are updated. これら新たに発見された接続が最終接続セットに追加され、2つのマスク群が更新される。 0.78
The iteration stops when no new connections are found or all the canes have been connected. 新しい接続が見つからない場合や、すべての杖が接続されている場合、イテレーションは停止する。
訳抜け防止モード: イテレーションはいつ終了するか 新しい接続は見つからない または全ての缶が接続されている
0.69
The algorithm starts by considering the output of Algorithm 1 as masksA and the set difference between all cane masks and masksA as masksB. アルゴリズムは、アルゴリズム1の出力をマスクAとし、すべての杖マスクとマスクAのセット差をマスクBとする。 0.78
It also takes as input the size of the dilation (dilation), the maximum number of dilations (max it) and the number of vertical slots (n) and it outputs a map whose keys are cane identifiers and values are lists of cane identifiers. また、ディレーション(ダイレーション)のサイズ、最大ディレーション数(最大)、垂直スロット数(n)を入力として、キーが杖の識別子であり、値が杖の識別子のリストであるマップを出力する。 0.72
The last set of connections is obtained using a variation of Algorithm 1, where, instead of checking if the intersection is contained in a specific part of the mask, the most overlapping cane is considered as connected cane. 最後の接続セットはアルゴリズム1のバリエーションを用いて得られ、交差がマスクの特定の部分に含まれているかどうかをチェックする代わりに、最も重なり合う杖が接続された杖と見なされる。 0.70
The algorithm takes as input the list of cane masks (masksA) and the list of node bounding boxes (masksB) and it outputs a map whose keys are cane identifiers and values are lists of node identifiers. このアルゴリズムは、杖マスクのリスト(masksA)とノード境界ボックスのリスト(masksB)を入力として、キーが杖の識別子であり、値がノードの識別子のリストであるマップを出力する。 0.88
B. Potential Pruning Points Detection and Localization B。 電位プルーニング点の検出と位置決め 0.73
With the previously structure created, the generation of pruning points can be performed. 予め構築した構造により、プルーニングポイントの生成を行うことができる。 0.78
Currently, we decided to use a crude approach for detecting potential pruning points, which are points on canes, either between two nodes of the same cane, between the bases of two canes growing from the same cane, between the base of a cane and its first node. 現在我々は,同じ杖の2つのノード間,同じ杖から成長する2つの杖の基部間,杖の基部と第1のノード間のいずれかの杖上の点である潜在的刈り込み点を検出するために,粗いアプローチを採用することを決定した。 0.70
An example of this can be seen in Fig 4, indicated by the red markers. この例は、赤いマーカーによって示される図4で見ることができる。 0.85
As 2 shows, by default, a potential pruning point ( (cid:126)pp) is the midpoint between two of the previously mentioned points ( (cid:126)p1 and (cid:126)p2). 2 が示すように、デフォルトでは (cid:126)pp) は前述の2つの点 (cid:126)p1 と (cid:126)p2) の中間点である。 0.77
For selecting the final pruning point, during this initial work, we decided to select the pruning point located above the second node of a cane. 最終プルーニングポイントを選択するために、この初期作業の間、杖の第2ノードの上に位置するプルーニングポイントを選択することにしました。 0.72
Due to the possible curvature of the canes, it may happen that this midpoint is not contained in the cane mask, and if this happens, the point is moved to a point inside the mask. 杖の曲率の可能性があるため、この中点が杖のマスクに含まれていない場合があり、もしそうなれば、その点がマスクの内側の点に移される。 0.66
In the end, an orientation angle is needed, to orient the pruning tool roll angle, in order to perform the cut correctly. 最後に、切削を正しく行うためには、切削工具ロール角度をオリエントする方向角が必要である。 0.66
This orientation angle (α) is computed taking into account the slope angle between the straight line connecting the two points and the horizontal direction of the image. この2点を接続する直線と画像の水平方向との傾斜角を考慮した方位角(α)を算出する。 0.71
∀( (cid:126)p1, (cid:126)p2) (cid:126)p1 + (cid:126)p2 (cid:126)p1, (cid:126)p2) (cid:126)p1 + (cid:126)p2 0.68
(cid:126)pp = (cid:126)pp = 0.88
δx,y = p1x,y − p2x,y δx,y = p1x,y − p2x,y 0.83
2 (2) 0, 2 (2) 0, 0.86
α = if δx = 0 if δy = 0 2 , otherwise VI. α = δx = 0 ならば、δy = 0 2 であり、そうでなければ VI である。 0.74
EXPERIMENTAL SETUP AND RESULTS 実験セットアップと結果 0.55
π 2 , arctan δy δx π 2 , arctan δy δx 0.92
− sign δy ∗ π δx -符号δy ∗ π δx 0.81
In this section, we describe how the experiments have been carried out, showing first two different testing environments and then illustrating the actual achieved performances of our approach. 本稿では,実験の実施方法について述べる。まず2つの異なるテスト環境を示し,その上で本手法の実際の性能を示す。 0.75
A. Experimental Setup The experimental setup for testing the segmentation neural network is split into two parts. A。 実験装置 セグメンテーションニューラルネットワークをテストするための実験的なセットアップは、2つの部分に分けられる。 0.68
The first part is a testing setup that uses images captured in the fields. 最初の部分は、フィールドでキャプチャされたイメージを使用するテストセットアップです。 0.78
These images were captured in a natural environment without changes that would modify the environment, the same kind of environment a farmer would work on. これらの画像は、農家が作業する環境と同じ環境に変更を加えることなく、自然環境の中で撮影された。 0.83
The inference is performed by the neural network on these images, and uses the graph generation algorithm presented in the previous section. これらの画像上でニューラルネットワークによって推論が行われ、前節で示したグラフ生成アルゴリズムを使用する。 0.79
These images do not interact with the neural network training, being only used for visual output evaluation. これらの画像はニューラルネットワークトレーニングとは相互作用せず、視覚的な出力評価にのみ使用される。 0.75
The second experimental setup was created using real grapevines in a lab environment, using a grapevine specimen that allows 第2の実験装置は、実験室で本物のブドウを使って、ブドウの標本を使って作られた。 0.66
英語(論文から抽出)日本語訳スコア
TABLE I: Average Precision and Average Recall after training for the three tested models. TABLE I: Average Precision and Average Recall after training for the three testing models。 0.78
Both metrics are calculated with intersection over union IoU=0.50:0.90, considering all area sizes and a maximum detections value of 100. どちらの測度も、すべての領域サイズと最大検出値100を考慮して、結合IoU=0.50:0.90の交叉で計算される。
訳抜け防止モード: 両測度は、IoU=0.50:0.90との交叉で計算される。 全ての面積と最大検出値が 100。
0.62
Average Precision Average Recall 平均精度平均リコール 0.75
Resnet 50 39.0% 47.0% Resnet 50 39.0% 47.0% 0.75
Reset 101 41.1% 48.7% リセット101 41.1% 48.7% 0.71
ResNeXt 101 ResNeXt 101 0.85
41.6% 48.2% 41.6% 48.2% 0.65
our training where the baseline value is 37.2%. 基準値37.2%のトレーニングです 0.58
It is also noticeable the difference between the various classes, which can be explained by the difficulty of each class, starting from the easiest, the nodes are closer to bounding boxes than segmentation, since the node is a specific structure along the cane. ノードは杖に沿った特定の構造であるため、最も簡単なものから、ノードはセグメンテーションよりもバウンディングボックスに近いため、各クラスの難易度によって説明できる。
訳抜け防止モード: また、様々なクラスの違いも明らかです。 各クラスの難易度は、最も簡単なものから説明できます。 ノードはセグメンテーションよりもバウンディングボックスに近いので、 ノードは、杖に沿った特定の構造である。
0.66
Due to the nature of the training process performed on the grapevine by the grower, the main cordon is a welldefined structure present on the grapevine, being mostly on the same place, with lesser variation of its shape. 栽培者がブドウに施す訓練過程の性質から、主コードンはブドウによく定義された構造であり、主に同じ場所に存在し、形状のバリエーションは少ない。
訳抜け防止モード: 栽培者がブドウに施した訓練プロセスの性質から。 メインコードンはグレープビーンの 明確に定義された構造です ほとんど同じ場所にいて 形状のバリエーションは少ないのです
0.52
For the canes, it is an object that is harder to perceive due to being more prone to occlusion by other canes, blending with the background due to its thinness and its randomness. 杖にとって、その薄さとランダムさによって背景と混ざり合い、他の杖によって閉塞される傾向が強いため、知覚しにくい物体である。 0.55
Table I show the comparative results of the three tested models after training, presenting both Average Precision and Average Recall. 表1は、トレーニング後の3つのテストモデルの比較結果を示し、平均精度と平均リコールの両方を示します。 0.70
2) Plant Graph Creation and Potential Pruning Points Generation: The potential pruning points detection performance is related to the graph generation performance, which is dependent on the segmentation network performance. 2) プラントグラフ作成と潜在的プルーニングポイント生成: 潜在的なプルーニングポイント検出性能は,セグメント化ネットワークの性能に依存するグラフ生成性能に関係している。 0.89
This is due to each connection being related to a potential pruning point, except for the connections between main cordons and canes. これは、主コードンと杖の間の接続を除いて、各接続が潜在的プルーニング点と関連しているためである。 0.67
In particular, each missed connection leads to a missed potential pruning point, i.e. 特に、各接続の欠落は、分岐点(すなわち、分岐点)の欠落につながる。 0.55
a false negative sample. Nonexistent connections may be established, leading to extradetected pruning points, i.e. 偽陰性のサンプルだ 非存在接続が確立され、外検出されたプルーニング点、すなわち 0.61
false positive samples. In the case of cane connections, the actual connection rule is based on checking if the masks are intersected in their bottom part, since, as said, canes tend to grow upwards. 偽陽性のサンプル 杖の接続の場合、実際の接続ルールは、マスクが底部で交差しているかどうかをチェックすることに基づいている。
訳抜け防止モード: 偽陽性のサンプル 杖接続の場合、実際の接続ルールは、マスクが底部に交差しているかどうかをチェックすることに基づいている。 さっき言ったように 杖は上向きに育ちますから。
0.58
With this, canes that grow downwards, although rare, are not detected. これにより、稀ではあるが下向きに成長する杖は検出されない。 0.58
C. Results Visual Evaluation C. Results Visual Evaluation 0.98
When considering the performance of the several created components, it is also important to understand how it performs on the field. 複数の生成したコンポーネントのパフォーマンスを考えるとき、フィールド上でどのように振る舞うかを理解することも重要です。 0.76
An example of this can be seen in Fig. この例が図に示されています。 0.67
7, where although it does not find every single cane, the graph generation still manages to find viable potential pruning points that can be used. ここでは、すべての杖を見つけることはできないが、グラフ生成は依然として、使用可能な潜在的プルーニングポイントを見つけることができる。 0.56
It is important to note that the images were not used to train the network, neither were acquired with the same camera as the one used on the robot. 画像はネットワークのトレーニングに使用されず、ロボットと同じカメラで取得されたものでもないことに注意する必要がある。 0.71
These results may not represent the complete challenge the neural network using images captured by the robot may face, but are still important to analyze. これらの結果は、ロボットが捉えた画像を用いたニューラルネットワークの完全な課題を表すものではないかもしれないが、それでも分析は重要である。
訳抜け防止モード: これらの結果は完全な挑戦ではないかもしれない ロボットが捉えた画像を用いたニューラルネットワークは しかし、分析は依然として重要です。
0.70
Considering our main goal to develop automated winter spur pruning of grapevines, an important thing to understand is how the neural network performs using the camera equipped on the robot. ウシの冬期自動刈り取りの開発を主な目的とすることを考えると、ニューラルネットワークがロボットに搭載されたカメラを用いてどのように機能するかを理解することが重要である。 0.66
An example of this is shown in Fig 5. この例がfig 5で示されています。 0.76
An important thing to notice is the maturity difference between grapevine specimens from the acquired data and the grapevine specimen present in the lab, where the one in the lab is a much younger plant, leading to a thinner main cordon and canes, which affects 重要なことは、得られたデータから得られたブドウの標本と研究室に存在するブドウの標本との成熟度の違いである。
訳抜け防止モード: 重要な点は 取得したデータから ブドウの標本の成熟度の違いです 実験室にあるブドウの標本は とても若い植物です より薄いコルドンと杖に導かれ、それが影響する
0.59
Fig. 5: Experimental setup containing one of the grapevine specimens and the target robot. フィギュア。 5: ブドウの標本と対象ロボットの1つを含む実験的なセットアップ。 0.65
Fig. 6: The validation results for the network model Resnet 50 along the training process, following COCO evaluation method, presenting the Average Precision (AP) of each singular class and the mean Average Precision of all classes. フィギュア。 6:ネットワークモデルResnet50のトレーニング過程に沿った検証結果は,COCO評価法に従って,各特異クラスの平均精度(AP)と各クラスの平均精度(AP)を示す。 0.62
the emulation of the grapevine environment in a laboratory environment. 実験室環境におけるブドウの環境のエミュレーション。 0.74
This allows the testing of the complete potential pruning points detection pipeline in a safe manner, as shown in Fig 5, allowing an additional layer of testing, by evaluating the performance of both backgrounds. これにより、図5に示すように、完全な潜在的なプルーニングポイント検出パイプラインを安全な方法でテストすることができ、両方のバックグラウンドのパフォーマンスを評価することで、追加のテスト層を可能にする。 0.66
B. Experimental Results This section is split into two parts, one to show the neural network training trend and its validation results and the second one to give a qualitative evaluation about the plant graph generation algorithm and the subsequent potential pruning points generation. B。 実験結果 このセクションは、ニューラルネットワークのトレーニングトレンドとその検証結果を示す2つの部分と、植物グラフ生成アルゴリズムと、それに続く潜在的な刈り取り点生成に関する質的評価を行う2つの部分に分けられる。 0.81
1) Network Training and Validation: Figure 6 shows the various Average precision (AP) metrics calculated during the training process. 1)ネットワークトレーニングと検証: 図6は,トレーニングプロセス中に算出した平均精度(AP)の指標を示す。 0.87
The AP metric presented in the figure is on par with the Detectron2 COCO instance segmentation baseline, where the segmentation AP is around 40% in 図で示されるAPメトリックは、ディテクトロン2COCOインスタンスセグメンテーションベースラインと同等であり、セグメンテーションAPは約40%である。 0.62
01000020000300004000 050000Training Steps2030405060APCOC O Average PrecisionNetworkAP-M ain CordonAP-ShootsAP-Bu dsAP 01000020000300004000 050000Training Steps2030405060APCO Average PrecisionNetworkAP-M ain CordonAP-ShootsAP-Bu dsAP 0.44
英語(論文から抽出)日本語訳スコア
Fig. 7: Two pairs of images, where the first image of the pair shows the inference output and the second image shows plant graph and potential pruning points generation. フィギュア。 7: 対の第一画像が推論出力を示し,第二画像が植物グラフと潜在的刈り取り点の生成を示す2対の画像。 0.61
As in the previous figures, the color blue represents the main cordon class, the color orange the various detected canes, the green the nodes. 以前の図のように、カラーブルーはメインコードンクラス、カラーオレンジは様々な検出された缶、グリーンはノードを表す。
訳抜け防止モード: 前の図のように、カラーブルーはメインのコードンクラスを表す。 様々な検出された缶の色がオレンジ色、ノードが緑です。
0.70
The red markers represent the generated potential pruning points. 赤いマーカーは、生成された潜在的なプルーニングポイントを表す。 0.60
the segmentation of the grapevine, affecting mostly the main cordon. ブドウの分節は、主にメインコードンに影響を及ぼす。 0.51
Nevertheless, the system still is able to generate valid potential pruning points. それでも、システムは依然として有効なプランニングポイントを生成できる。 0.72
[Online]. Available: https://doi.org/10.1 146/annurev-control- 053018023617 [オンライン] https://doi.org/10.1 146/annurev-control- 053018023617 0.50
[10] M. Di Cicco, C. Potena, G. Grisetti, and A. Pretto, “Automatic model based dataset generation for fast and accurate crop and weeds detection,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017, pp. M. Di Cicco, C. Potena, G. Grisetti, A. Pretto, “Automatic model based dataset generation for fast and accurate crop and weeds detection” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017 pp。 0.79
5188–5195. 5188–5195. 0.71
[11] A. Milioto, P. Lottes, and C. Stachniss, “Real-time semantic segmentation of crop and weed for precision agriculture robots leveraging background knowledge in cnns,” in 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 11] a. milioto, p. lottes, and c. stachniss, “real-time semantic segmentation of crop and weed for precision agriculture robots using background knowledge in cnns” in 2018 ieee international conference on robotics and automation (icra), 2018, pp. ] (英語) 0.83
2229–2235. 2229–2235. 0.71
[12] J. Grimm, K. Herzog, F. Rist, A. Kicherer, R. T¨opfer, and V. Steinhage, “An Adaptive Approach for Automated Grapevine Phenotyping using VGG-based Convolutional Neural Networks,” nov 2018. J. Grimm, K. Herzog, F. Rist, A. Kicherer, R. T sopfer, V. Steinhage, “A Adaptive Approach for Automated Grapevine Phenotyping using VGG-based Convolutional Neural Networks”[12] nov 2018。 0.93
[Online]. Available: http://arxiv.org/abs /1811.09561 [オンライン] http://arxiv.org/abs /1811.09561 0.54
[13] T. Botterill, S. Paulin, R. Green, S. Williams, J. Lin, V. Saxton, S. Mills, X. Chen, and S. Corbett-Davies, “A robot system for pruning grape vines,” Journal of Field Robotics, vol. Journal of Field Robotics, vol.[13] T. Botterill, S. Paulin, R. Green, S. Williams, J. Lin, V. Saxton, S. Mills, X. Chen, S. Corbett-Davies, “ブドウのブドウ畑を刈るロボットシステム”。 0.92
34, no. 6, pp. 34 だめだ 6, pp。 0.66
1100–1122, 2017. 1100–1122, 2017. 0.84
[Online]. Available: https://onlinelibrar y.wiley. [オンライン] 利用可能: https://onlinelibrar y.wiley。 0.65
com/doi/abs/10.1002/ rob.21680 doi/abs/10.1002/rob. 21680 0.16
[14] Y. Wu, A. Kirillov, F. Massa, W.-Y. [14]Wu, A. Kirillov, F. Massa, W.-Y. 0.93
Lo, and R. Girshick, “Detectron2,” Lo, and R. Girshick, “Detectron2” 0.91
https://github.com/f acebookresearch/dete ctron2, 2019. https://github.com/f acebookresearch/dete ctron2, 2019 0.54
[2] S. Poni, S. Tombesi, A. Palliotti, V. Ughini, and M. Gatti, “Mechanical winter pruning of grapevine: Physiological bases and applications,” Scientia Horticulturae, vol. S. Poni, S. Tombesi, A. Palliotti, V. Ughini, M. Gatti, “Mechanical winter pruning of grapevine:physiologi cal bases and applications”, Scientia Horticulturae, vol。
訳抜け防止モード: [2]S. Poni, S. Tombesi, A. Palliotti, V. Ughini, and M. Gatti, “Mechanical winter pruning of grapevine :physiological bases and application” Scientia Horticulturae, vol。
0.90
204, pp. 88 – 98, 2016. 204, pp。 88 – 98, 2016. 0.83
[Online]. Available: http://www.sciencedi rect.com/science/art icle/pii/ S0304423816301650 [オンライン] http://www.sciencedi rect.com/science/art icle/pii/s0304423816 1650 0.52
[3] C. Intrieri and S. Poni, “Integrated evolution of trellis training systems and machines to improve grape quality and vintage quality of mechanized italian vineyards,” American Journal of Enology and Viticulture, vol. The American Journal of Enology and Viticulture, vol.[3] C. Intrieri, S. Poni, “Trellisの訓練システムと機械の進化により、メカニアンブドウ園のブドウの品質とヴィンテージの品質が向上した。 0.82
46, no. 1, pp. 46、ノー。 1、p。 0.70
116–127, 1995. 116–127, 1995. 0.84
[Online]. Available: https://www.ajevonli ne.org/content/46/1/ 116 [オンライン] https://www.ajevonli ne.org/content/46/1/ 116 0.49
[4] S. Poni, M. Gatti, A. Palliotti, Z. Dai, E. Duchˆene, T.-T. Truong, G. Ferrara, A. M. S. Matarrese, A. Gallotta, A. Bellincontro, F. Mencarelli, and S. Tombesi, “Grapevine quality: A multiple choice issue,” Scientia Horticulturae, vol. S. Poni, M. Gatti, A. Palliotti, Z. Dai, E. Duchiene, T.-T. Truong, G. Ferrara, A. M. S. Matarrese, A. Gallotta, A. Bellincontro, F. Mencarelli, S. Tombesi, “Grapevine quality: A multiple choice problem” Scientia Horticulturae, vol. 0.95
234, pp. 445 – 462, 2018. 234, pp。 445 – 462, 2018. 0.82
[Online]. Available: http://www.sciencedi rect.com/science/art icle/pii/ S0304423817307586 [オンライン] http://www.sciencedi rect.com/science/art icle/pii/s0304423817 7586 0.52
Jia, [5] F. C. Nogues, A. Huie, and S. Dasgupta, “Object Detection using Domain Randomization and Generative Adversarial Refinement of Synthetic Images,” may 2018. Jia F.C. Nogues, A. Huie, and S. Dasgupta, “Domain Randomization and Generative Adversarial Refinement of Synthetic Images”. 2018年5月5日閲覧。 0.60
[Online]. Available: http://arxiv.org/ abs/1805.11778 [6] Y. Zhang, K. [オンライン] 利用可能: http://arxiv.org/ abs/1805.11778 [6] Y. Zhang, K。 0.65
“Part-Aware Fine-grained Object Categorization using Weakly Supervised Part Detection Network,” IEEE Transactions on Multimedia, pp. IEEE Transactions on Multimedia, pp. “Wakly Supervised Part Detection Network”. IEEE Transactions on Multimedia, pp. 0.70
1–1, jun 2019. 2019年1月1日。 0.63
[Online]. Available: http://arxiv.org/abs /1806.06198http://dx .doi.org/ 10.1109/TMM.2019.293 9747 [オンライン] 利用可能:http://arxiv.org/ab s/1806.06198http://d x.doi.org/10.1109/TM M.2019.2939747 0.48
and Z. Wang, そしてZ.Wang。 0.58
[7] T. T. Santos, L. L. de Souza, A. [7]T. T. Santos, L. L. de Souza, A。 0.90
A. dos Santos, and S. Avila, “Grape detection, segmentation, and tracking using deep neural networks and three-dimensional association,” Computers and Electronics in Agriculture, vol. A. dos Santos, and S. Avila, “Grape detection, segmentation, and tracking using deep neural network and three-dimensional association”. Computers and Electronics in Agriculture, Vol. 0.94
170, jul 2020. 170, 2020年6月 0.81
[Online]. Available: http://arxiv.org/ abs/1907.11819http:/ /dx.doi.org/10.1016/ J.COMPAG.2020.105247 [オンライン] 利用可能: http://arxiv.org/ abs.11819http://dx.d oi.org/10.1016/J.COM PAG.2020.105247 0.47
[8] P. Borianne, F. Borne, J. Sarron, and E. Faye, “Deep Mangoes: from fruit detection to cultivar identification in colour images of mango trees,” sep 2019. P. Borianne, F. Borne, J. Sarron, E. Faye, “Deep Mangoes: from fruit detection to cultivar identification in color image of mango trees”. 2019年9月9日閲覧。 0.89
[Online]. Available: http://arxiv.org/abs /1909.10939 [9] S. Bargoti and J. P. Underwood, “Image segmentation for fruit detection and yield estimation in apple orchards,” Journal of Field Robotics, vol. [オンライン] 出典: http://arxiv.org/abs /1909.10939 [9] s. bargoti and j. p. underwood, “image segmentation for fruit detection and yield estimation in apple orchards”、 journal of field robotics, vol. 。 0.70
34, no. 6, pp. 34 だめだ 6, pp。 0.66
1039–1060, 2017. 1039–1060, 2017. 0.84
[Online]. Available: https://onlinelibrar y.wiley.com/doi/abs/ 10.1002/rob.21699 [オンライン] 利用可能: https://onlinelibrar y.wiley.com/doi/abs/ 10.1002/rob.21699 0.47
VII. DISCUSSION AND CONCLUSIONS VII。 討論と結論 0.64
Due to the imperfect nature of the obtained inference, the detected grapevine items, created and used for potential pruning points generation, may not be accurate. 得られた推論の不完全性のため、検出されたブドウの成分は、潜在的に刈り取られた点の生成に使用され、正確なものではない。 0.52
This imperfection is caused by multiple factors, such as the lack of data on grapevine specimens with various ages or the capture conditions. この不完全性は、様々な年齢のブドウの標本のデータ不足や捕獲条件など、複数の要因によって引き起こされる。 0.67
To mitigate this, data augmentation may be considered in order to expand the existing dataset, as well as capturing new images from different grapevines. これを軽減するために、既存のデータセットを拡張し、異なるブドウからの新しいイメージをキャプチャするために、データ拡張を考慮することができる。 0.68
However, even considering imperfect segmentation, we are able to create a 2D plant’s structure model. しかし、不完全なセグメンテーションを考慮しても、2Dプラントの構造モデルを作成することができる。 0.75
The plant model, and consequently the pruning points, is heavily dependent on the segmentation, which could lead to the non detection of potential pruning points. プラントモデル、すなわち刈り取りポイントはセグメンテーションに大きく依存しており、それによって潜在的な刈り取りポイントの非検出に繋がる可能性がある。 0.73
Furthermore, the algorithm that establishes the connections can be seen as a crude method, that does not solve certain anomalies that may happen, leading to false connections being created. さらに、接続を確立するアルゴリズムは粗末な方法と見なすことができ、それが生じる可能性のある特定の異常を解決せず、誤った接続が生成される。 0.80
However, this initial solution still allows the robot to autonomously prune the grapevine. しかし、この最初の解法によって、ロボットはブドウを自律的に刈り取ることができる。 0.56
In conclusion, in this paper we presented a novel method to create 2D plant models, based on grapevines semantic segmentation, containing the topographical and geometrical information between the different grapevine organs. そこで本研究では,異なるブドウ器官間の地形的および幾何学的情報を含む,ブドウのセマンティックセグメンテーションに基づく2次元植物モデルを作成する方法を提案する。 0.78
We demonstrated how our approach is able to create a significant set of potential pruning points. 当社のアプローチが,潜在的なプルーニングポイントの重要なセットをいかに作成できるかを実演しました。 0.62
The final set of the real pruning points can be selected. 実際のプルーニングポイントの最終セットを選択することができる。 0.82
In this initial phase, the selection consists on the pruning point located above the second node of a cane. この初期段階において、選択は杖の第2ノードの上方に位置する刈り取り点によって構成される。 0.71
Future work will revolve on the improvement of the inference results, by continuing to explore the data augmentation, by adjusting the functions used and the order they are applied. 今後の作業は、使用する関数と適用される順序を調整することによって、データ拡張を引き続き探求することで、推論結果の改善に重点を置く予定である。 0.73
On the graph generation side, the connection algorithm can be replaced by a CNN that takes as input two masks (a two-channel black and white image) and outputs a connection confidence measure, which can be used to decide whether to establish the connection between the items or not. グラフ生成側では、接続アルゴリズムを2つのマスク(2チャンネルの白黒画像)を入力として、アイテム間の接続を確立するかどうかを判断する接続信頼度尺度を出力するcnnに置き換えることができる。 0.76
Moreover, improvements on the logic for pruning points detection can be carried out, by adding information such as canes thickness, for vigor evaluation, and improving items localization, for a better assessment of the growth direction. また、成長方向のより良い評価のために、ウシの厚みなどの情報の追加、活力評価、アイテムのローカライゼーションの改善などにより、点検出のためのロジックの改善を行うことができる。 0.68
[1] S. G. Vougioukas, “Agricultural robotics,” Annual Review of Control, Robotics, and Autonomous Systems, vol. s. g. vougioukas, “agricultural robotics”, annual review of control, robotics, and autonomous systems, vol. 1 (英語) 0.83
2, no. 1, pp. 2位はノー。 1、p。 0.68
365–392, 2019. 365–392, 2019. 0.84
REFERENCES 参考 0.47
             ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。