論文の概要: Automatic Fused Multimodal Deep Learning for Plant Identification
- arxiv url: http://arxiv.org/abs/2406.01455v2
- Date: Sun, 10 Nov 2024 13:10:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:06:18.217297
- Title: Automatic Fused Multimodal Deep Learning for Plant Identification
- Title（参考訳）: 植物同定のための自動融合型マルチモーダル深層学習
- Authors: Alfreds Lapkovskis, Natalia Nefedova, Ali Beikmohammadi,
- Abstract要約: 自動モーダル融合を用いた植物分類のための先駆的な多モードDLベースのアプローチを提案する。
PlantCLEF2015データセットの979クラスに対して82.61%の精度を達成した。
- 参考スコア（独自算出の注目度）: 1.2289361708127877
- License:
- Abstract: Plant classification is vital for ecological conservation and agricultural productivity, enhancing our understanding of plant growth dynamics and aiding species preservation. The advent of deep learning (DL) techniques has revolutionized this field by enabling autonomous feature extraction, significantly reducing the dependence on manual expertise. However, conventional DL models often rely solely on single data sources, failing to capture the full biological diversity of plant species comprehensively. Recent research has turned to multimodal learning to overcome this limitation by integrating multiple data types, which enriches the representation of plant characteristics. This shift introduces the challenge of determining the optimal point for modality fusion. In this paper, we introduce a pioneering multimodal DL-based approach for plant classification with automatic modality fusion. Utilizing the multimodal fusion architecture search, our method integrates images from multiple plant organs--flowers, leaves, fruits, and stems--into a cohesive model. Our method achieves 82.61% accuracy on 979 classes of the PlantCLEF2015 dataset, surpassing state-of-the-art methods and outperforming late fusion by 10.33%. Through the incorporation of multimodal dropout, our approach demonstrates strong robustness to missing modalities. We validate our model against established benchmarks using standard performance metrics and McNemar's test, further underscoring its superiority.
- Abstract（参考訳）: 植物分類は, 生態系の保全と農業の生産性, 植物の成長動態の理解の向上, 種保全支援に不可欠である。
ディープラーニング(DL)技術の出現は、自律的な特徴抽出を可能にし、手作業の専門知識への依存を大幅に減らし、この分野に革命をもたらした。
しかし、従来のDLモデルは単一のデータソースのみに依存しており、植物種の完全な生物学的多様性を包括的に捉えていないことが多い。
最近の研究は、植物の特徴の表現を豊かにする複数のデータ型を統合することで、この制限を克服するマルチモーダル学習に転換している。
このシフトは、モダリティ融合の最適点を決定するという課題をもたらす。
本稿では,自動モダリティ融合を用いた植物分類における先駆的マルチモーダルDLに基づくアプローチを提案する。
マルチモーダル・フュージョン・アーキテクチャ・サーチを用いて,複数の植物器官のイメージ(花,葉,果実,茎)を凝集モデルに統合する。
PlantCLEF2015データセットの979クラスに対して82.61%の精度を達成し、最先端の手法を超越し、後期融合を10.33%上回った。
マルチモーダル・ドロップアウトの導入により,本手法はモダリティの欠如に対して強い堅牢性を示す。
我々は、標準的なパフォーマンス指標とMcNemarのテストを用いて、確立されたベンチマークに対してモデルを検証し、その優位性をさらに強調する。
関連論文リスト
- LSTM Autoencoder-based Deep Neural Networks for Barley Genotype-to-Phenotype Prediction [16.99449054451577]
そこで本研究では,オオムギの開花時期と収量推定のために,オオムギの遺伝子型からフェノタイプへの予測のためのLSTMオートエンコーダを用いた新しいモデルを提案する。
我々のモデルは、複雑な高次元農業データセットを扱う可能性を示す他のベースライン手法よりも優れていた。
論文 参考訳（メタデータ） (2024-07-21T16:07:43Z) - Generating Multi-Modal and Multi-Attribute Single-Cell Counts with CFGen [76.02070962797794]
マルチモーダル単細胞数に対するフローベース条件生成モデルであるセルフロー・フォー・ジェネレーションを提案する。
本研究は, 新規な生成タスクを考慮に入れた上で, 重要な生物学的データ特性の回復性の向上を示唆するものである。
論文 参考訳（メタデータ） (2024-07-16T14:05:03Z) - Enhancing Plant Disease Detection: A Novel CNN-Based Approach with Tensor Subspace Learning and HOWSVD-MD [3.285994579445155]
本稿では,トマト葉病の検出・分類のための最先端技術を紹介する。
本稿では,高次白色特異値分解(Higher-Order Whitened Singular Value Decomposition)と呼ばれる部分空間学習領域における高度なアプローチを提案する。
このイノベーティブな手法の有効性は、2つの異なるデータセットに関する包括的な実験を通じて厳密に検証された。
論文 参考訳（メタデータ） (2024-05-30T13:46:56Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - Generating Diverse Agricultural Data for Vision-Based Farming Applications [74.79409721178489]
このモデルは, 植物の成長段階, 土壌条件の多様性, 照明条件の異なるランダム化フィールド配置をシミュレートすることができる。
我々のデータセットにはセマンティックラベル付き12,000の画像が含まれており、精密農業におけるコンピュータビジョンタスクの包括的なリソースを提供する。
論文 参考訳（メタデータ） (2024-03-27T08:42:47Z) - BonnBeetClouds3D: A Dataset Towards Point Cloud-based Organ-level
Phenotyping of Sugar Beet Plants under Field Conditions [30.27773980916216]
農業生産は今後数十年間、気候変動と持続可能性の必要性によって深刻な課題に直面している。
自律無人航空機(UAV)による作物のモニタリングと、ロボットによる非化学雑草によるフィールド管理の進歩は、これらの課題に対処するのに有用である。
表現型化と呼ばれる植物形質の分析は、植物の育種に不可欠な活動であるが、大量の手作業が伴う。
論文 参考訳（メタデータ） (2023-12-22T14:06:44Z) - SSL-SoilNet: A Hybrid Transformer-based Framework with Self-Supervised Learning for Large-scale Soil Organic Carbon Prediction [2.554658234030785]
本研究は,自己指導型コントラスト学習を通じて,マルチモーダル特徴間の地理的関連を学習することを目的とした,新しいアプローチを提案する。
提案手法は、2つの異なる大規模データセットに対して厳密なテストを行っている。
論文 参考訳（メタデータ） (2023-08-07T13:44:44Z) - Drug Synergistic Combinations Predictions via Large-Scale Pre-Training
and Graph Structure Learning [82.93806087715507]
薬物併用療法は、より有効で安全性の低い疾患治療のための確立された戦略である。
ディープラーニングモデルは、シナジスティックな組み合わせを発見する効率的な方法として登場した。
我々のフレームワークは、他のディープラーニングベースの手法と比較して最先端の結果を達成する。
論文 参考訳（メタデータ） (2023-01-14T15:07:43Z) - Generative models-based data labeling for deep networks regression:
application to seed maturity estimation from UAV multispectral images [3.6868861317674524]
種子の成熟度モニタリングは、気候変動とより制限的な慣行による農業における課題の増加である。
従来の手法は、フィールドでの限られたサンプリングと実験室での分析に基づいている。
マルチスペクトルUAV画像を用いたパセリ種子の成熟度推定手法の提案と,自動ラベリングのための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-08-09T09:06:51Z) - A Deep Learning Generative Model Approach for Image Synthesis of Plant
Leaves [62.997667081978825]
我々は,高度深層学習(DL)技術を用いて,人工葉画像の自動生成を行う。
我々は、現代の作物管理のためのAIアプリケーションのためのトレーニングサンプルのソースを処分することを目指している。
論文 参考訳（メタデータ） (2021-11-05T10:53:35Z) - Two-View Fine-grained Classification of Plant Species [66.75915278733197]
本研究では,2視点の葉のイメージ表現に基づく新しい手法と,植物種の粒度認識のための階層的分類戦略を提案する。
シームズ畳み込みニューラルネットワークに基づく深度測定は、多数のトレーニングサンプルへの依存を減らし、新しい植物種に拡張性を持たせるために用いられる。
論文 参考訳（メタデータ） (2020-05-18T21:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。