論文の概要: HM3D-M3: A Benchmark for Multi-Agent, Multi-Modal, Multi-Object Goal Navigation

• arxiv url: http://arxiv.org/abs/2610.20121v1
• Date: Wed, 14 Oct 2026 12:44:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.144605
• Title: HM3D-M3: A Benchmark for Multi-Agent, Multi-Modal, Multi-Object Goal Navigation
• Title（参考訳）: HM3D-M3:マルチエージェント・マルチモーダル・マルチオブジェクトゴールナビゲーションのためのベンチマーク
• Abstract要約: HM3D-M3は379のオープン語彙カテゴリから3,926の目標に対して1000の検証エピソードを提供する。 HiGAは、凍結したオープン語彙ナビゲーションポリシの上に、トレーニングされた階層的なゴールアサインラである。 LaViRA-M3は、共有マッピングと進捗分析を備えたVLMエージェントのトレーニングフリーチームである。
• 参考スコア（独自算出の注目度）: 32.47093945816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid progress in AI agents and robotics makes it a matter of the near future that humans are served by a team of robots. Such a team will receive several goals at once, each specified in whatever form is convenient for the human, such as a category name, a photo, or a spoken description. Existing benchmarks study multi-agent, multi-modal, and multi-object goal navigation in isolation, and a benchmark that places all three in one episode is missing. To fill this gap, we introduce HM3D-M3. A team of K agents starts at distributed locations in a photorealistic indoor scene and searches for an unordered set of M object goals, each given as an open-vocabulary category, an instance image, or an instance description. HM3D-M3 provides 1,000 validation episodes over 3,926 goals from 379 open-vocabulary categories, 100K observation-assignment training samples, and two team-level metrics, goal-level SR and makespan-normalized SPL. We further contribute two baselines. HiGA is a trained hierarchical goal assigner on top of a frozen open-vocabulary navigation policy, and LaViRA-M3 is a training-free team of VLM agents with shared mapping and progress analysis. Adapted multi-robot and zero-shot methods reach 16--27% SR, while our baselines reach 38--41% with complementary strengths and distinct failure modes. Furthermore, we deploy LaViRA-M3 on a heterogeneous three-robot team. Project page: https://robo-lavira.github.io/hm3d-m3/
• Abstract（参考訳）: AIエージェントとロボット工学の急速な進歩は、人間がロボットのチームによって提供される、近い将来の問題になる。 このようなチームは一度にいくつかの目標を達成し、それぞれがカテゴリ名や写真、音声による記述など、人間にとって便利な形で指定される。 既存のベンチマークでは、マルチエージェント、マルチモーダル、マルチオブジェクトのゴールナビゲーションを分離して研究しており、3つすべてをひとつのエピソードに配置するベンチマークが欠落している。 このギャップを埋めるためにHM3D-M3を導入する。 Kエージェントのチームは、フォトリアリスティックな屋内シーン内の分散した場所から始まり、Mオブジェクトの未順序セットを検索し、それぞれがオープン語彙圏、インスタンスイメージ、インスタンス記述として与えられる。 HM3D-M3は,379のオープン語彙カテゴリから3,926の目標,100K観察割り当てトレーニングサンプル,目標レベルのSRとメースパン正規化されたSPLの2つのチームレベルのメトリクスから,1,000の検証エピソードを提供する。 私たちはさらに2つのベースラインに貢献します。 HiGAは、凍結したオープン語彙ナビゲーションポリシーの上にトレーニングされた階層的なゴールアサインラであり、LaViRA-M3は、共有マッピングと進捗分析を備えたVLMエージェントのトレーニングなしチームである。 適応型マルチロボットとゼロショット法は16～27%のSRに到達し、ベースラインは相補的な強度と異なる障害モードで38～41%に達した。 さらに、異種3ロボットチームにLaViRA-M3を配備する。 プロジェクトページ:https://robo-lavira.github.io/hm3d-m3/

関連論文リスト

• HAM-VLN: Harnessing Hierarchical Agentic Memory for Zero-Shot Vision-and-Language Navigation [19.550897283368894]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)は、ロボットがこれまで見えなかった環境で指示に従うことを可能にする。 Ham-VLNは決定結合型エージェントによるメモリで、ロボットに永続的で深度の高い世界グラフを装備する。 Ham-VLNはVLN-CE R2Rで61.0%の成功率(SR)、VLN-CE RxRで52.7%、HM3D-v2 ObjectNavで79.7%を達成している。
  論文  参考訳（メタデータ） (2026-07-31T16:32:38Z)
• Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
  身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。 統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
  論文  参考訳（メタデータ） (2026-05-26T18:52:04Z)
• Seeing Together: Multi-Robot Cooperative Egocentric Spatial Reasoning with Multimodal Large Language Models [76.29781698910202]
  本研究では, きめ細かい協調的空間推論のための枠組みを提案する。 SP-CoRは、動的に認識されるマルチロボットフレームサンプリング、スペクトルおよび物理誘導型ビューフュージョン、および物理に整合した即時蒸留を組み合わせた。 ハビタットでは+3.87%、iGibsonでは+7.12%、微調整ベースラインでは+3.87%である。
  論文  参考訳（メタデータ） (2026-05-18T14:04:26Z)
• GoalVLM: VLM-driven Object Goal Navigation for Multi-Agent System [0.0]
  ゼロショットでオープンなオブジェクトナビゲーションのための協調型マルチエージェントフレームワークであるGoalVLMを提案する。 GoalVLMは、VLM(Vision-Language Model)を直接決定ループに統合し、SAM3はテキストプロンプト検出とセグメンテーション、SpaceOMは空間推論を行う。 GOAT-Bench val_unseenにおけるGoalVLMの評価を行った。
  論文  参考訳（メタデータ） (2026-03-18T18:59:33Z)
• Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets [15.349107660229356]
  VLM(Vision-Language Models)は,インターネット規模の画像テキストコーパスを通じて,実世界の知識と一般的な推論能力を取得する。 本稿では,VLMのためのVQA(Visual Question Answering)データセット生成フレームワークであるRobo2VLMを紹介する。 実物176kのロボット軌道から463の異なるシーンと3,396のロボット操作タスクをカバーし、684,710の質問を回答した。
  論文  参考訳（メタデータ） (2025-05-21T13:42:52Z)
• CorNav: Autonomous Agent with Self-Corrected Planning for Zero-Shot Vision-and-Language Navigation [73.78984332354636]
  CorNavは視覚・言語ナビゲーションのための新しいゼロショットフレームワークである。 将来の計画の見直しや行動調整のための環境フィードバックが組み込まれている。 ゼロショットマルチタスク設定ですべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-06-17T11:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。