論文の概要: PlantTrack: Task-Driven Plant Keypoint Tracking with Zero-Shot Sim2Real Transfer

• arxiv url: http://arxiv.org/abs/2407.16829v1
• Date: Tue, 23 Jul 2024 20:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 15:32:29.547650
• Title: PlantTrack: Task-Driven Plant Keypoint Tracking with Zero-Shot Sim2Real Transfer
• Title（参考訳）: PlantTrack: ゼロショットSim2Real転送によるタスク駆動型プラントキーポイントトラッキング
• Authors: Samhita Marri, Arun N. Sivakumar, Naveen K. Uppalapati, Girish Chowdhary,
• Abstract要約: 植物の特徴の追跡は、表現型付け、刈り取り、収穫などの様々な農業作業に不可欠である。 そこで我々は,DINOv2を用いて高次元特徴を提供するPlantTrackを提案し,キーポイントヒートマップ予測ネットワークを訓練する。 キーポイント予測器を訓練するための20個の合成画像を用いて,実環境における植物の特徴を効果的に追跡できるゼロショットSim2Real転送を実現する。
• 参考スコア（独自算出の注目度）: 4.923031976899536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tracking plant features is crucial for various agricultural tasks like phenotyping, pruning, or harvesting, but the unstructured, cluttered, and deformable nature of plant environments makes it a challenging task. In this context, the recent advancements in foundational models show promise in addressing this challenge. In our work, we propose PlantTrack where we utilize DINOv2 which provides high-dimensional features, and train a keypoint heatmap predictor network to identify the locations of semantic features such as fruits and leaves which are then used as prompts for point tracking across video frames using TAPIR. We show that with as few as 20 synthetic images for training the keypoint predictor, we achieve zero-shot Sim2Real transfer, enabling effective tracking of plant features in real environments.
• Abstract（参考訳）: 植物の特徴の追跡は、表現型付け、刈り取り、収穫などの様々な農業作業に不可欠であるが、植物環境の非構造的、散らばり、変形しやすい性質は難しい課題である。 この文脈では、基礎モデルの最近の進歩は、この課題に対処する上で有望であることを示している。 本研究では,高次元特徴を提供するDINOv2を用いたPlantTrackを提案し,キーポイントヒートマップ予測ネットワークを用いて果実や葉などの意味的特徴の特定を行い,TAPIRを用いてビデオフレームを横断する点追跡のプロンプトとして利用する。 キーポイント予測器を訓練するための20個の合成画像を用いて,実環境における植物の特徴を効果的に追跡できるゼロショットSim2Real転送を実現する。

関連論文リスト

• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Language-guided Robot Grasping: CLIP-based Referring Grasp Synthesis in Clutter [14.489086924126253]
  本研究は, 乱雑な場面において, 自然言語で参照される物体のつかみポーズを予測する, つかみ合成を参照する作業に焦点をあてる。 既存のアプローチでは、参照対象をまずセグメント化し、適切な把握を提案し、自然屋内シーンの複雑さを捉えないプライベートデータセットやシミュレータで評価される。 本稿では,CLIPの視覚的接地機能を利用して,画像とテキストのペアから直接合成を学習する新しいエンド・ツー・エンド・モデル(CROG)を提案する。
  論文  参考訳（メタデータ） (2023-11-09T22:55:10Z)
• Push Past Green: Learning to Look Behind Plant Foliage by Moving It [19.36396157137122]
  部分的な可視性、極端に粗い構造、植物のための未知の幾何学と力学は、そのような操作を困難にしている。 SRPNetは、特定の植物に対する候補アクションの実行時に、どの空間が露呈しているかを予測するニューラルネットワークである。 SRPNetは、どれだけの空間が露光されるかだけでなく、どこで露光されるかも予測するだけでなく、植物の葉の下のより多くの空間を徐々に明らかにする一連の行動を実行することができる。
  論文  参考訳（メタデータ） (2023-07-06T17:55:28Z)
• Semantics-Aware Next-best-view Planning for Efficient Search and Detection of Task-relevant Plant Parts [3.9074818653555554]
  トマトの収穫・脱葉を自動化するためには,作業関連部位の探索・検出が重要である。 現在のアクティブビジョンアルゴリズムは、関連する部分と無関係な植物部位を区別できない。 本稿では,意味情報を用いて関連する植物部位を識別するセマンティックス・アウェア・アクティブビジョン戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T12:22:19Z)
• Tracking through Containers and Occluders in the Wild [32.86030395660071]
  重い閉塞と封じ込めによる視覚追跡のための新しいベンチマークとモデルである$textbfTCOW$を紹介した。 我々は、教師付き学習とモデル性能の構造化評価の両方をサポートするために、合成データセットと注釈付き実データセットの混合を作成する。 最近の2つのトランスフォーマーベースビデオモデルを評価し,タスク変動の特定の設定下でターゲットを驚くほど追跡できるが,トラッキングモデルが真のオブジェクト永続性(permanence)の概念を獲得したと主張するまでには,かなりの性能差が残っていることを発見した。
  論文  参考訳（メタデータ） (2023-05-04T17:59:58Z)
• Inside Out: Transforming Images of Lab-Grown Plants for Machine Learning Applications in Agriculture [0.0]
  我々は,室内の植物像をフィールド画像として解釈するために,コントラッシブ・アンペア変換 (CUT) 生成敵ネットワーク (GAN) を用いる。 我々は,1つの植物のみを含むイメージを翻訳するようにネットワークを訓練する一方で,複数の植物野画像を生成するために容易に拡張可能であることを示す。 また, 人工マルチプラント画像を用いて, いくつかのYoloV5ナノオブジェクト検出モデルを訓練し, 植物検出を行う。
  論文  参考訳（メタデータ） (2022-11-05T20:51:45Z)
• Semantic Image Segmentation with Deep Learning for Vine Leaf Phenotyping [59.0626764544669]
  本研究では,ブドウの葉のイメージを意味的にセグメント化するためにDeep Learning法を用いて,葉の表現型自動検出システムを開発した。 私たちの研究は、成長や開発のような動的な特性を捉え定量化できる植物ライフサイクルのモニタリングに寄与します。
  論文  参考訳（メタデータ） (2022-10-24T14:37:09Z)
• Optical flow-based branch segmentation for complex orchard environments [73.11023209243326]
  シミュレーションでは、シミュレーションでは、シミュレーションされたRGBデータと光フローのみを用いてニューラルネットワークシステムを訓練する。 このニューラルネットワークは、忙しい果樹園環境において、追加の現実世界のトレーニングや、標準カメラ以外の特別な設定や機器を使用することなく、前景の枝のセグメンテーションを行うことができる。 その結果,本システムは高精度であり,手動ラベル付きRGBDデータを用いたネットワークと比較すると,トレーニングセットと異なる環境において,より一貫性と堅牢性を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T03:38:20Z)
• Stochastic Layers in Vision Transformers [85.38733795180497]
  視覚変換器の完全な層を導入し,性能を著しく低下させることなく実現した。 この追加により、視覚機能の堅牢性が向上し、プライバシーが強化される。 私たちの機能は3つの異なるアプリケーション、すなわち、敵の堅牢性、ネットワークキャリブレーション、機能プライバシに使用しています。
  論文  参考訳（メタデータ） (2021-12-30T16:07:59Z)
• Task2Sim : Towards Effective Pre-training and Transfer from Synthetic Data [74.66568380558172]
  本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。 本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。 このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。 トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
  論文  参考訳（メタデータ） (2021-11-30T19:25:27Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。