論文の概要: A Lightweight Multimodal Vision-Language Framework for Early-Stage Anatomical Green Fruit Classification in Commercial Orchards
- arxiv url: http://arxiv.org/abs/2608.24935v1
- Date: Sun, 23 Aug 2026 20:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.263441
- Title: A Lightweight Multimodal Vision-Language Framework for Early-Stage Anatomical Green Fruit Classification in Commercial Orchards
- Title（参考訳）: 商業用果樹園における初期解剖学的緑果樹分類のための軽量マルチモーダルビジョンランゲージフレームワーク
- Abstract要約: そこで本研究では,TinyCLIPを微粒なフルーツレット解剖分類に適用した,軽量な視覚言語フレームワークを提案する。
Scilate と Scifresh のリンゴ果樹園から収集した600の高解像度 RGB 画像のデータセットを 224 x 224 の画像パッチに変換した。
112ピクセルのストライドを持つスライディングウインドウ推論戦略は、パッチレベルの予測を空間熱マップに集約する。
- 参考スコア（独自算出の注目度）: 6.084317596100191
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate identification of early-stage apple fruitlet anatomical structures, including the calyx, fruitlet body, and peduncle, is essential for robotic thinning, crop-load management, and other precision orchard operations. This study presents a lightweight multimodal vision-language framework that adapts TinyCLIP for fine-grained fruitlet anatomy classification in complex orchard environments. A dataset of 600 high-resolution RGB images collected from Scilate and Scifresh apple orchards was converted into 224 x 224 image patches and annotated for three anatomical classes. Domain-specific language prompts, such as ``a photo of a class,'' were used to guide multimodal alignment between orchard imagery and horticultural structures. A sliding-window inference strategy with a stride of 112 pixels aggregates patch-level predictions into spatial heatmaps, enabling interpretable whole-image localization of fruitlet components relevant to robotic thinning. Patch-level evaluation on an NVIDIA T4 GPU achieved F1-scores of 0.95 for calyx, 0.98 for fruitlet, and 0.85 for peduncle, with a macro-F1 score of 0.93. Deployment-oriented optimization using ONNX and TensorRT enabled efficient inference on NVIDIA Jetson hardware, preserved accuracy under INT8 quantization, and supported model sizes of approximately 127-137 MB with millisecond-level patch inference. These results demonstrate that lightweight vision-language models can provide interpretable and edge-deployable perception for automated fruitlet analysis and future robotic thinning systems. The source code and implementation details are publicly available at https://github.com/WilliamBu1/A-Lightweight-Vision-Language-Model-for-Early-Stage-Fruitlet-Classific ation-in-Apple-Orchards.
- Abstract（参考訳）: カリックス, フルーツレット体, ペプンクルなど, 初期のリンゴ果汁解剖学的構造を正確に同定することは, ロボットの薄化, 作物の負荷管理, その他の精密果樹園の作業に不可欠である。
そこで本研究では,TinyCLIPを複合果樹園環境における微細粒状果皮解剖分類に適用した,軽量なマルチモーダル視覚言語フレームワークを提案する。
ScilateとSifreshのリンゴ果樹園から収集した600枚の高解像度RGB画像のデータセットを224×224の画像パッチに変換し、3つの解剖学的クラスに注釈を付けた。
果樹園のイメージと園芸構造とのマルチモーダルなアライメントを導くために,'a photo of a class'のようなドメイン固有の言語プロンプトが用いられた。
112ピクセルのストライドを持つスライディングウインドウ推論戦略は、パッチレベルの予測を空間熱マップに集約し、ロボットの薄型化に関連するフルーツレット成分の解釈可能な全体像の局所化を可能にする。
NVIDIA T4 GPUのパッチレベル評価では、カリックスは0.95、フルーツレットは0.98、ペプンクルは0.85、マクロF1スコアは0.93となった。
ONNXとTensorRTを使ったデプロイ指向の最適化により、NVIDIA Jetsonハードウェアでの効率的な推論が可能となり、INT8量子化下での保存精度が向上し、ミリ秒レベルのパッチ推論で約127-137MBのモデルサイズをサポートした。
これらの結果から,軽量な視覚言語モデルにより,自動フルーツレット解析やロボットの未来の薄型化システムにおいて,解釈可能かつエッジ対応の認識が可能になることが示唆された。
ソースコードと実装の詳細はhttps://github.com/WilliamBu1/A-Lightweight-Vision-Language-Model-for-Early-Stage-Fruitlet-Classific ation-in-Apple-Orchardsで公開されている。
関連論文リスト
- Less Is More: An Explainable AI Framework for Lightweight Malaria Classification [0.0]
この研究は、複雑なニューラルネットワークがマラリアの単純な二分分類タスクに不可欠であるかどうかを論じる。
本稿では,透過的で再現性があり,低計算機械学習アプローチであるExptracted Morphological Feature Engineered (EMFE)パイプラインを紹介する。
論文 参考訳（メタデータ） (2025-11-22T14:46:59Z) - FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields [5.669562773066833]
FruitNeRF++は、コントラスト学習とニューラルラディアンスフィールドを組み合わせた、新しいフルーツカウント手法である。
我々の研究はFruitNeRFに基づいており、FruitNeRFは、果物固有のクラスタリングアプローチと組み合わせて、ニューラルネットワークのセマンティックフィールドを利用している。
以上の結果から,FruitNeRF++は制御が容易で,他の最先端手法と比較できることがわかった。
論文 参考訳（メタデータ） (2025-05-26T11:48:22Z) - AppleGrowthVision: A large-scale stereo dataset for phenological analysis, fruit detection, and 3D reconstruction in apple orchards [3.9494466926597487]
2つのサブセットからなる大規模データセットであるAppleGrowthVisionを提案する。
第1弾はブランデンブルク(ドイツ)の農場から収集された高解像度ステレオ画像9,317枚を含む。
第2のサブセットはブランデンブルクの同じ農場から1,125枚の濃密に注釈付けされた画像と、合計で31,084個のリンゴのラベルを含むピルニッツ(Pillnitz)の1枚で構成されている。
AppleGrowthVisionは、農業的に検証された成長段階のステレオ画像データを提供し、正確な表現学的分析と3D再構成を可能にする。
論文 参考訳（メタデータ） (2025-05-20T07:29:22Z) - TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。
提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。
当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
論文 参考訳（メタデータ） (2025-03-19T17:58:57Z) - Parameter-Inverted Image Pyramid Networks for Visual Perception and Multimodal Understanding [49.218195440600354]
現在の画像ピラミッドは、複数の解像度を処理するために同じ大規模なモデルを使用しており、計算コストを大幅に上回っている。
我々はCOCO変換画像ピラミッドネットワーク(PIIP)と呼ばれる新しいネットワークアーキテクチャを提案する。
PIIPは、事前訓練されたモデル(ViTまたはCNN)を、より小さなネットワークブランチによって高解像度の画像が処理され、計算コストと性能のバランスをとるマルチスケールイメージの処理に使用する。
論文 参考訳（メタデータ） (2025-01-14T01:57:41Z) - Fruit Deformity Classification through Single-Input and Multi-Input Architectures based on CNN Models using Real and Synthetic Images [2.1534273328102937]
本研究は,リンゴ,マンゴー,イチゴなどの果実の外部品質検査における変形度を検出することに焦点を当てた。
データセットは、果物のシルエットを提供するSegment Anything Model(SAM)を使用してセグメント化される。
その結果,MobileNetV2モデルを用いたマルチ入力アーキテクチャは果実の変形を識別するのに最も有効であることが判明した。
論文 参考訳（メタデータ） (2024-12-17T14:51:13Z) - DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。
ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。
実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
論文 参考訳（メタデータ） (2023-02-03T14:59:31Z) - BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers [117.79456335844439]
マスク付き予測のための再構成ターゲットとして,セマンティックリッチなビジュアルトークン化器を提案する。
次に、マスクされた画像パッチに対する元の視覚トークンを予測して、視覚変換器を事前訓練する。
画像分類とセマンティックセグメンテーションの実験は、我々のアプローチがMIM法よりも優れていることを示している。
論文 参考訳（メタデータ） (2022-08-12T16:48:10Z) - Facilitated machine learning for image-based fruit quality assessment in
developing countries [68.8204255655161]
自動画像分類は食品科学における教師あり機械学習の一般的な課題である。
事前学習型視覚変換器(ViT)に基づく代替手法を提案する。
標準的なデバイス上で限られたリソースで簡単に実装できる。
論文 参考訳（メタデータ） (2022-07-10T19:52:20Z) - Corrupted Image Modeling for Self-Supervised Visual Pre-Training [103.99311611776697]
自己教師型視覚前訓練のためのCIM(Corrupted Image Modeling)を提案する。
CIMは、小さなトレーニング可能なBEiTを備えた補助発電機を使用して、人工マスクトークンを使用する代わりに入力イメージを破損させる。
事前トレーニング後、エンハンサーは下流タスク用の高容量ビジュアルエンコーダとして使用できる。
論文 参考訳（メタデータ） (2022-02-07T17:59:04Z) - An Artificial Intelligence System for Combined Fruit Detection and
Georeferencing, Using RTK-Based Perspective Projection in Drone Imagery [0.0]
この研究では、商業用果樹園の空中ドローン画像からリンゴを検出してカウントする人工知能(AI)システムを紹介します。
計算コストを低減するため、ネットワークの新たな前駆的段階は、個々の木の切り抜き画像に生画像を前処理するように設計されている。
ユニークな地理空間識別子は、遠近法投影モデルを用いてこれらに割り当てられる。
実験により、より高速なR-CNNの文献に見ることのないk平均クラスタリング手法が、校正されたmAPの最も重要な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2021-01-01T23:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。