論文の概要: MODIPHY: Multimodal Obscured Detection for IoT using PHantom Convolution-Enabled Faster YOLO

• arxiv url: http://arxiv.org/abs/2402.07894v1
• Date: Mon, 12 Feb 2024 18:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 12:54:34.086464
• Title: MODIPHY: Multimodal Obscured Detection for IoT using PHantom Convolution-Enabled Faster YOLO
• Title（参考訳）: MODIPHY: PHantom Convolution-Enabled Faster YOLOを用いたIoT用マルチモーダル障害物検出
• Authors: Shubhabrata Mukherjee, Cory Beard, Zhu Li
• Abstract要約: YOLOファントム(YOLO Phantom)は、世界最小のYOLOモデルの一つ。 最新の YOLOv8n モデルに匹敵する精度を実現している。 パラメータとモデルサイズを同時に43%削減します。
• 参考スコア（独自算出の注目度）: 11.445187704250033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-light conditions and occluded scenarios impede object detection in real-world Internet of Things (IoT) applications like autonomous vehicles and security systems. While advanced machine learning models strive for accuracy, their computational demands clash with the limitations of resource-constrained devices, hampering real-time performance. In our current research, we tackle this challenge, by introducing "YOLO Phantom", one of the smallest YOLO models ever conceived. YOLO Phantom utilizes the novel Phantom Convolution block, achieving comparable accuracy to the latest YOLOv8n model while simultaneously reducing both parameters and model size by 43%, resulting in a significant 19% reduction in Giga Floating Point Operations (GFLOPs). YOLO Phantom leverages transfer learning on our multimodal RGB-infrared dataset to address low-light and occlusion issues, equipping it with robust vision under adverse conditions. Its real-world efficacy is demonstrated on an IoT platform with advanced low-light and RGB cameras, seamlessly connecting to an AWS-based notification endpoint for efficient real-time object detection. Benchmarks reveal a substantial boost of 17% and 14% in frames per second (FPS) for thermal and RGB detection, respectively, compared to the baseline YOLOv8n model. For community contribution, both the code and the multimodal dataset are available on GitHub.
• Abstract（参考訳）: 自動運転車やセキュリティシステムのような現実のモノのインターネット(IoT)アプリケーションでは、低照度条件と隠蔽シナリオがオブジェクト検出を妨げる。 高度な機械学習モデルは精度を追求する一方で、計算の要求はリソース制約のあるデバイスの限界と衝突し、リアルタイムのパフォーマンスを阻害する。 現在の研究では、これまでに考案された最小のYOLOモデルのひとつである"YOLO Phantom"を導入することで、この課題に対処しています。 YOLO Phantomは、新しいPhantom Convolutionブロックを利用して、最新のYOLOv8nモデルに匹敵する精度を実現し、パラメータとモデルサイズを同時に43%削減し、Giga Floating Point Operations (GFLOPs) の19%の大幅な削減を実現している。 YOLO Phantomは、我々のマルチモーダルなRGB赤外線データセットの転送学習を活用して、低照度と閉塞の問題に対処し、悪条件下での堅牢なビジョンと組み合わせます。 その実世界の有効性は、高度な低照度およびrgbカメラを備えたiotプラットフォーム上で実証され、効率的なリアルタイムオブジェクト検出のためにawsベースの通知エンドポイントにシームレスに接続する。 ベンチマークの結果、ベースラインのYOLOv8nモデルと比較して、それぞれ17%と14%のフレーム/秒(FPS)で熱およびRGB検出が可能であることが判明した。 コミュニティへのコントリビューションには、コードとマルチモーダルデータセットの両方がGitHubで公開されている。

関連論文リスト

• YOLOv10: Real-Time End-to-End Object Detection [68.28699631793967]
  リアルタイムオブジェクト検出の分野では,YOLOが主流のパラダイムとして浮上している。 非最大抑圧(NMS)による処理後ハマーによるYOLOのエンドツーエンドデプロイメントへの依存。 YOLOの総合的効率-精度駆動型モデル設計戦略を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T11:44:29Z)
• YOLO-World: Real-Time Open-Vocabulary Object Detection [87.08732047660058]
  オープン語彙検出機能でYOLOを強化する革新的なアプローチであるYOLO-Worldを紹介する。 提案手法は,ゼロショット方式で広範囲の物体を高効率で検出する。 YOLO-WorldはV100上で52.0 FPSの35.4 APを達成した。
  論文  参考訳（メタデータ） (2024-01-30T18:59:38Z)
• SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on FPGA Devices [48.47320494918925]
  この作業は、超低レイテンシアプリケーションのために、最先端のオブジェクト検出モデルをFPGAデバイスにデプロイする際の課題に対処する。 YOLOアクセラレータにはストリーミングアーキテクチャ設計を採用しており、チップ上で完全なモデルを深くパイプライン化して実装しています。 データフロー方式でYOLOモデルの動作をサポートする新しいハードウェアコンポーネントを導入し、オンチップメモリリソースの制限に対処するために、オフチップメモリバッファリングを導入する。
  論文  参考訳（メタデータ） (2023-09-04T13:15:01Z)
• YOLO-MS: Rethinking Multi-Scale Representation Learning for Real-time Object Detection [80.11152626362109]
  YOLO-MSと呼ばれる効率的かつ高性能な物体検出器を提供する。 私たちは、他の大規模なデータセットに頼ることなく、MS COCOデータセット上でYOLO-MSをスクラッチからトレーニングします。 私たちの仕事は、他のYOLOモデルのプラグイン・アンド・プレイ・モジュールとしても使えます。
  論文  参考訳（メタデータ） (2023-08-10T10:12:27Z)
• YOLOBench: Benchmarking Efficient Object Detectors on Embedded Systems [0.0873811641236639]
  4つの異なるデータセットと4つの異なる組込みハードウェアプラットフォーム上で、550以上のYOLOベースのオブジェクト検出モデルからなるベンチマークであるYOLOBenchを提案する。 我々は,これらの検出器と固定訓練環境との公正かつ制御された比較を行うことにより,様々なモデルスケールのYOLOベースの1段検出器の精度と遅延数を収集する。 我々は、YOLOBenchのニューラルネットワーク探索で使用されるトレーニング不要な精度推定器を評価し、最先端のゼロコスト精度推定器はMACカウントのような単純なベースラインよりも優れており、その一部は効果的に使用できることを示した。
  論文  参考訳（メタデータ） (2023-07-26T01:51:10Z)
• PE-YOLO: Pyramid Enhancement Network for Dark Object Detection [9.949687351946038]
  ピラミッド拡張ネットワーク (PENet) を提案し, YOLOv3 と結合して PE-YOLO というダークオブジェクト検出フレームワークを構築する。 PE-YOLOはエンドツーエンドのジョイントトレーニングアプローチを採用し、通常の検出損失のみを使用してトレーニングプロセスを簡素化する。 結果:PE-YOLOは、それぞれmAPが78.0%、FPSが53.6%であり、異なる低照度条件下での物体検出に適応できる。
  論文  参考訳（メタデータ） (2023-07-20T15:25:55Z)
• YOLO-Drone:Airborne real-time detection of dense small objects from high-altitude perspective [8.864582442699023]
  リアルタイム物体検出アルゴリズム(YOLO-Drone)を提案し,2つの新しいUAVプラットフォームと特定の光源に適用した。 YOLO-Droneは53 FPSで、最大mAPは34.04%である。 特に、YOLO-Droneはシリコンベースの金のLEDの下で高性能で、mAPは87.71%である。
  論文  参考訳（メタデータ） (2023-04-14T05:21:47Z)
• EdgeYOLO: An Edge-Real-Time Object Detector [69.41688769991482]
  本稿では, 最先端のYOLOフレームワークをベースとした, 効率的で低複雑さかつアンカーフリーな物体検出器を提案する。 我々は,訓練中の過剰適合を効果的に抑制する拡張データ拡張法を開発し,小型物体の検出精度を向上させるためにハイブリッドランダム損失関数を設計する。 私たちのベースラインモデルは、MS 2017データセットで50.6%のAP50:95と69.8%のAP50、VisDrone 2019-DETデータセットで26.4%のAP50と44.8%のAP50に達し、エッジコンピューティングデバイスNvidia上でリアルタイム要求(FPS>=30)を満たす。
  論文  参考訳（メタデータ） (2023-02-15T06:05:14Z)
• A lightweight and accurate YOLO-like network for small target detection in Aerial Imagery [94.78943497436492]
  小型ターゲット検出のためのシンプルで高速で効率的なネットワークであるYOLO-Sを提案する。 YOLO-SはDarknet20をベースとした小さな特徴抽出器と、バイパスと連結の両方を通じて接続をスキップする。 YOLO-Sはパラメータサイズが87%減少し、約半分のFLOPがYOLOv3となり、低消費電力の産業用アプリケーションに実用化された。
  論文  参考訳（メタデータ） (2022-04-05T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。