論文の概要: Leveraging YOLO-World and GPT-4V LMMs for Zero-Shot Person Detection and Action Recognition in Drone Imagery

• arxiv url: http://arxiv.org/abs/2404.01571v1
• Date: Tue, 2 Apr 2024 02:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 18:18:02.790852
• Title: Leveraging YOLO-World and GPT-4V LMMs for Zero-Shot Person Detection and Action Recognition in Drone Imagery
• Title（参考訳）: ドローン画像におけるゼロショット人物検出と行動認識のためのYOLO-WorldとGPT-4V LMMの活用
• Authors: Christian Limberg, Artur Gonçalves, Bastien Rigault, Helmut Prendinger,
• Abstract要約: 本稿では、ドローンの認識領域におけるゼロショット大型マルチモーダルモデル(LMM)の可能性について考察する。 我々は、人物検出と行動認識タスクに着目し、ヨロワールドとGPT-4V(ision)という2つの顕著なLMMを評価する。 GPT-4Vは、アクションクラスを正確に分類するのに苦労するが、望ましくない領域の提案をフィルタリングする有望な結果をもたらす。
• 参考スコア（独自算出の注目度）: 0.8437187555622164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this article, we explore the potential of zero-shot Large Multimodal Models (LMMs) in the domain of drone perception. We focus on person detection and action recognition tasks and evaluate two prominent LMMs, namely YOLO-World and GPT-4V(ision) using a publicly available dataset captured from aerial views. Traditional deep learning approaches rely heavily on large and high-quality training datasets. However, in certain robotic settings, acquiring such datasets can be resource-intensive or impractical within a reasonable timeframe. The flexibility of prompt-based Large Multimodal Models (LMMs) and their exceptional generalization capabilities have the potential to revolutionize robotics applications in these scenarios. Our findings suggest that YOLO-World demonstrates good detection performance. GPT-4V struggles with accurately classifying action classes but delivers promising results in filtering out unwanted region proposals and in providing a general description of the scenery. This research represents an initial step in leveraging LMMs for drone perception and establishes a foundation for future investigations in this area.
• Abstract（参考訳）: 本稿では,ドローン認識分野におけるゼロショット大型マルチモーダルモデル(LMM)の可能性について検討する。 人検出と行動認識のタスクに焦点をあて、航空ビューから取得した公開データセットを用いて、YOLO-WorldとGPT-4V(ision)という2つの顕著なLMMを評価する。 従来のディープラーニングアプローチは、大規模で高品質なトレーニングデータセットに大きく依存しています。 しかし、特定のロボット環境では、そのようなデータセットを取得することは、合理的な時間枠内でリソース集約的または非現実的である可能性がある。 プロンプトベースのLMM(Large Multimodal Models)の柔軟性と、それらの例外的な一般化能力は、これらのシナリオにおけるロボット工学の応用に革命をもたらす可能性がある。 その結果, YOLO-Worldは検出性能が良好であることが示唆された。 GPT-4Vはアクションクラスを正確に分類するのに苦労するが、望ましくない領域の提案をフィルタリングし、風景の一般的な説明を提供するという有望な結果をもたらす。 この研究は、LMMをドローンの認識に活用するための最初のステップであり、この領域における将来の調査の基礎を確立している。

関連論文リスト

• Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs! [3.844253028598048]
  LLMTrackは、ゼロショット軌道認識にLLMをどのように活用できるかを示すモデルである。 本研究では,屋内シナリオと屋外シナリオを特徴とする異なる軌跡を用いて,現実のデータセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-03-10T12:50:35Z)
• YOLO-World: Real-Time Open-Vocabulary Object Detection [87.08732047660058]
  オープン語彙検出機能でYOLOを強化する革新的なアプローチであるYOLO-Worldを紹介する。 提案手法は,ゼロショット方式で広範囲の物体を高効率で検出する。 YOLO-WorldはV100上で52.0 FPSの35.4 APを達成した。
  論文  参考訳（メタデータ） (2024-01-30T18:59:38Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
  我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。 GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。 GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T17:34:51Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Masked Path Modeling for Vision-and-Language Navigation [41.7517631477082]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)エージェントは、自然言語の指示に従うことで現実世界の環境をナビゲートするように訓練されている。 以前のアプローチでは、トレーニング中に追加の監督を導入することでこの問題に対処しようと試みていた。 本稿では,下流ナビゲーションタスクに自己コンパイルデータを用いてエージェントを事前訓練する,マスク付きパスモデリング(MPM)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T17:20:20Z)
• Decentralized Reinforcement Learning for Multi-Target Search and Detection by a Team of Drones [12.055303570215335]
  対象の探索と検出は、カバレッジ、監視、探索、観測、追跡回避など、さまざまな決定問題を含む。 我々は,未知の領域における静的な目標のセットを特定するために,航空機群(ドローン)を協調させるマルチエージェント深部強化学習法(MADRL)を開発した。
  論文  参考訳（メタデータ） (2021-03-17T09:04:47Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。