論文の概要: Towards Autonomous UAV Visual Object Search in City Space: Benchmark and Agentic Methodology

• arxiv url: http://arxiv.org/abs/2505.08765v1
• Date: Tue, 13 May 2025 17:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.691664
• Title: Towards Autonomous UAV Visual Object Search in City Space: Benchmark and Agentic Methodology
• Title（参考訳）: 都市空間における自律型UAVビジュアルオブジェクト探索に向けて:ベンチマークとエージェント手法
• Authors: Yatai Ji, Zhengqiu Zhu, Yong Zhao, Beidan Liu, Chen Gao, Yihao Zhao, Sihang Qiu, Yue Hu, Quanjun Yin, Yong Li,
• Abstract要約: 都市オブジェクトの自律検索のための最初のベンチマークデータセットであるCityAVOSを紹介する。 このデータセットは、6つのオブジェクトカテゴリにまたがる2,420のタスクで構成され、難易度は様々である。 また,人間の3層認知を模倣したマルチモーダルな大規模言語モデル(MLLM)を用いたエージェント手法であるRPPSearcherを提案する。
• 参考スコア（独自算出の注目度）: 26.90429412601702
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Aerial Visual Object Search (AVOS) tasks in urban environments require Unmanned Aerial Vehicles (UAVs) to autonomously search for and identify target objects using visual and textual cues without external guidance. Existing approaches struggle in complex urban environments due to redundant semantic processing, similar object distinction, and the exploration-exploitation dilemma. To bridge this gap and support the AVOS task, we introduce CityAVOS, the first benchmark dataset for autonomous search of common urban objects. This dataset comprises 2,420 tasks across six object categories with varying difficulty levels, enabling comprehensive evaluation of UAV agents' search capabilities. To solve the AVOS tasks, we also propose PRPSearcher (Perception-Reasoning-Planning Searcher), a novel agentic method powered by multi-modal large language models (MLLMs) that mimics human three-tier cognition. Specifically, PRPSearcher constructs three specialized maps: an object-centric dynamic semantic map enhancing spatial perception, a 3D cognitive map based on semantic attraction values for target reasoning, and a 3D uncertainty map for balanced exploration-exploitation search. Also, our approach incorporates a denoising mechanism to mitigate interference from similar objects and utilizes an Inspiration Promote Thought (IPT) prompting mechanism for adaptive action planning. Experimental results on CityAVOS demonstrate that PRPSearcher surpasses existing baselines in both success rate and search efficiency (on average: +37.69% SR, +28.96% SPL, -30.69% MSS, and -46.40% NE). While promising, the performance gap compared to humans highlights the need for better semantic reasoning and spatial exploration capabilities in AVOS tasks. This work establishes a foundation for future advances in embodied target search. Dataset and source code are available at https://anonymous.4open.science/r/CityAVOS-3DF8.
• Abstract（参考訳）: 都市環境におけるAVOS(Aerial Visual Object Search)タスクは、無人航空機(Unmanned Aerial Vehicles, UAV)が外部ガイダンスなしで視覚的およびテキスト的手がかりを用いて対象物を自律的に探索し識別することを要求する。 既存のアプローチは、冗長なセマンティック処理、類似したオブジェクトの区別、探索と探索のジレンマにより、複雑な都市環境で苦労している。 このギャップを埋め、AVOSタスクをサポートするために、一般的な都市オブジェクトの自律検索のための最初のベンチマークデータセットであるCityAVOSを紹介します。 このデータセットは、6つの対象カテゴリにわたる2,420のタスクで構成され、難易度は様々であり、UAVエージェントの検索能力を総合的に評価することができる。 AVOSタスクを解決するために,人間の3層認知を模倣するマルチモーダルな大規模言語モデル(MLLM)を利用した新しいエージェント手法であるPRPSearcher(Perception-Reasoning-Planning Searcher)を提案する。 具体的には、空間知覚を増強するオブジェクト中心のダイナミックセマンティックマップ、ターゲット推論のセマンティックアトラクション値に基づく3次元認識マップ、バランスの取れた探索・探索探索のための3次元不確実性マップである。 また,本手法では,類似物体からの干渉を軽減し,適応行動計画にIPT(Inspiration promotede Thought)プロンプト機構を利用する。 CityAVOSの実験結果によると、RPPSearcherは成功率と検索効率の両方で既存のベースラインを超えている(平均は+37.69% SR、+28.96% SPL、-30.69% MSS、-46.40% NE)。 有望ではあるが、人間に比べてパフォーマンスのギャップは、AVOSタスクにおけるより良いセマンティック推論と空間探索能力の必要性を強調している。 本研究は, 具体的対象探索の今後の進歩の基盤を確立するものである。 データセットとソースコードはhttps://anonymous.4open.science/r/CityAVOS-3DF8で公開されている。

関連論文リスト

• Structured Spatial Reasoning with Open Vocabulary Object Detectors [2.089191490381739]
  オブジェクト間の空間的関係に関する推論は多くの実世界のロボット作業において不可欠である。 我々は、リッチな3次元幾何学的特徴と最先端のオープンボキャブラリオブジェクト検出器を統合する構造的確率的アプローチを導入する。 この手法は、空間推論タスクにおける最先端ビジョン・言語モデル(VLM)のゼロショット性能を評価・比較する。
  論文  参考訳（メタデータ） (2024-10-09T19:37:01Z)
• Probable Object Location (POLo) Score Estimation for Efficient Object Goal Navigation [15.623723522165731]
  本稿では,POLo(Probable Object Location)スコアを中心とした新しいフレームワークを提案する。 計算集約的なPOLoスコアを近似するためにトレーニングされたニューラルネットワークであるPOLoNetを導入することで、フレームワークの実用性をさらに向上する。 OVMM 2023チャレンジの第1フェーズを含む実験では,POLoNetを組み込んだエージェントが,幅広いベースライン手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-11-14T08:45:32Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• Object Semantics Give Us the Depth We Need: Multi-task Approach to Aerial Depth Completion [1.2239546747355885]
  本稿では,2つのタスクをひとつのパスで共同実行するための新しい手法を提案する。 提案手法は,2つのタスクを共同学習機能に公開するエンコーダに着目したマルチタスク学習モデルに基づく。 実験の結果,提案したマルチタスクネットワークはシングルタスクネットワークよりも優れていた。
  論文  参考訳（メタデータ） (2023-04-25T03:21:32Z)
• Towards Multimodal Multitask Scene Understanding Models for Indoor Mobile Agents [49.904531485843464]
  本稿では,現実世界の屋内環境におけるラベル付きデータの不十分,あるいは不可能,といった主な課題について論じる。 MMISM (Multi-modality input Multi-task output Indoor Scene Understanding Model) について述べる。 MMISMは、RGB画像だけでなく、スパースライダーポイントを入力と3Dオブジェクト検出、深さ完了、人間のポーズ推定、セマンティックセグメンテーションを出力タスクとみなしている。 MMISMはシングルタスクモデルよりも同等かそれ以上の性能を示す。
  論文  参考訳（メタデータ） (2022-09-27T04:49:19Z)
• Active Visual Search in the Wild [12.354788629408933]
  本稿では,フリーフォーム言語を用いてターゲットコマンドを入力できるシステムを提案する。 私たちはこのシステムをActive Visual Search in the Wild (AVSW)と呼んでいる。 AVSWは、静的なランドマークで表されるセマンティックグリッドマップを通じて、ユーザが入力したターゲットオブジェクトを検出し、検索する計画である。
  論文  参考訳（メタデータ） (2022-09-19T07:18:46Z)
• Aerial View Goal Localization with Reinforcement Learning [6.165163123577484]
  本稿では,実際のUAVへのアクセスを必要とせずに,SAR(Search-and-Rescue)のようなセットアップをエミュレートするフレームワークを提案する。 この枠組みでは、エージェントが空中画像(探索領域のプロキシ)上で動作し、視覚的手がかりとして記述されたゴールのローカライズを行う。 AiRLocは、探索(遠方目標探索)と搾取(近方目標の局所化)を分離する強化学習(RL)に基づくモデルである。
  論文  参考訳（メタデータ） (2022-09-08T10:27:53Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
  人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。 ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。 このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
  論文  参考訳（メタデータ） (2021-03-31T15:01:04Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)
• Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling [65.99956848461915]
  VLN(Vision-and-Language Navigation)は、エージェントが目標を達成するために3D環境を移動する方法を決定するタスクである。 VLNタスクの問題点の1つは、対話型環境において、人間に注釈を付けた指示で十分なナビゲーションパスを収集することは困難であるため、データの不足である。 本稿では,低品質な拡張データではなく,効果的な条件を考慮可能な,対向駆動の反実的推論モデルを提案する。
  論文  参考訳（メタデータ） (2019-11-17T18:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。