論文の概要: RAO-Nav: Probing Omni-Language Models for Zero-shot Semantic Audio-Visual Navigation

• arxiv url: http://arxiv.org/abs/2609.32224v1
• Date: Sat, 26 Sep 2026 04:33:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:47:06.023633
• Title: RAO-Nav: Probing Omni-Language Models for Zero-shot Semantic Audio-Visual Navigation
• Title（参考訳）: RAO-Nav:Zero-shot Semantic Audio-Visual NavigationのためのOmni-Languageモデルの提案
• Abstract要約: Omni-Language Models (OLMs) がゼロショット・セマンティック・オーディオ・ビジュアル・ナビゲーション(SAVN)に直接適用できるかどうかを検討する。 OLMに符号化された暗黙の視覚的知識を活用することで、エンボディエージェントは環境における「聞き」「見」「理性」「行動」を実現できる。 我々のフレームワークは、トレーニングデータを用いることなく、パブリックなSAVNベンチマークの既存の最先端ベースラインを超えていることが示される。
• 参考スコア（独自算出の注目度）: 8.237281877032173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore whether Omni-Language Models (OLMs) can be directly applied to zero-shot Semantic Audio-Visual Navigation (SAVN). Recent work demonstrates that even state-of-the-art specialized models still struggle to achieve generalist multimodal navigation, despite extensive task-specific training. In this paper, we introduce RAO-Nav, short for Reasoning All-in-One OLM, a deployment pipeline for zero-shot SAVN. By leveraging the rich implicit audio-visual knowledge encoded in OLMs, the embodied agent is enabled to ``hear'', ``see'', ``reason'', and ``act'' in the environment. To further elicit the built-in thinking ability of OLMs, we propose a test-time Latent Navigation Reasoning (LNR) module that can be seamlessly integrated into the decoding space. LNR encourages the model to retrieve more target-relevant observations and make effective navigation decisions. Through comprehensive experiments, we show that our framework surpasses existing state-of-the-art baselines on public SAVN benchmarks without using any training data. Moreover, we introduce a new \emph{Global Navigation Instruction} setting to further evaluate the ability of OLMs to serve as embodied navigation agents. Code: https://github.com/rikeilong/OmniAV\_Nav.
• Abstract（参考訳）: 我々は,Omni-Language Models (OLMs) がゼロショット・セマンティック・オーディオ・ビジュアル・ナビゲーション (SAVN) に直接適用できるかどうかを検討する。 最近の研究は、高度なタスク固有の訓練にもかかわらず、最先端の専門モデルでさえ、汎用的なマルチモーダルナビゲーションを達成するのに苦戦していることを示している。 本稿では,ゼロショットSAVNのデプロイメントパイプラインであるReasoning All-in-One OLMの略であるRAO-Navを紹介する。 OLMに符号化された暗黙的なオーディオ視覚知識を活用することで、環境中の ``hear'', ``see'', ``reason'', ``act'' にエンボディエージェントが有効になる。 OLMのビルトイン思考能力をさらに向上するために,復号化空間にシームレスに統合可能なテスト時間遅延ナビゲーション推論(LNR)モジュールを提案する。 LNRはモデルに対して、より多くの目標関連観測を回収し、効果的なナビゲーション決定を行うことを奨励する。 総合的な実験を通して、我々のフレームワークは、トレーニングデータを用いることなく、パブリックなSAVNベンチマークの既存の最先端ベースラインを超えていることを示す。 さらに,OLMが具体化ナビゲーションエージェントとして機能する能力をさらに評価するために,新しいemph{Global Navigation Instruction}設定を導入する。 コード:https://github.com/rikeilong/OmniAV\_Nav。

関連論文リスト

• VL-LN Bench: Towards Long-horizon Goal-oriented Navigation with Active Dialogs [51.18508300818979]
  Vision Language-Language Navigation (VL-LN)ベンチマークは、ダイアログ対応ナビゲーションモデルのトレーニングと評価のための大規模で自動生成されたデータセットを提供する。 VL−LNは、トレーニング用41k以上の長軸ダイアログ拡張軌道と、エージェントクエリに応答可能なオラクルを備えた自動評価プロトコルとを備える。
  論文  参考訳（メタデータ） (2025-12-26T19:00:12Z)
• OVER-NAV: Elevating Iterative Vision-and-Language Navigation with Open-Vocabulary Detection and StructurEd Representation [96.46961207887722]
  OVER-NAVは、現在のIVLN技術を超えることを目指している。 解釈されたナビゲーションデータを完全に活用するために、構造化された表現、コード化されたOmnigraphを導入する。
  論文  参考訳（メタデータ） (2024-03-26T02:34:48Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models [17.495162643127003]
  我々は,複雑なエンボディシーンにおけるGPTモデルの推論能力を明らかにするために,NavGPTを導入した。 NavGPTは、視覚的な観察、ナビゲーション履歴、将来の探索可能な方向のテキスト記述を入力として、エージェントの現在の状態を推論する。 本研究では,NavGPTが経路に沿った観察や行動から高品質なナビゲーション命令を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T14:41:06Z)
• Can an Embodied Agent Find Your "Cat-shaped Mug"? LLM-Guided Exploration for Zero-Shot Object Navigation [58.3480730643517]
  言語駆動型ゼロショットオブジェクトゴールナビゲーション(L-ZSON)のための新しいアルゴリズムLGXを提案する。 このアプローチでは、このタスクにLarge Language Models(LLM)を使用します。 現状のゼロショットオブジェクトナビゲーションをRoboTHOR上で実現し,現在のベースラインよりも27%以上の成功率(SR)向上を実現した。
  論文  参考訳（メタデータ） (2023-03-06T20:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。