論文の概要: A Modular Vision-Language-Action Robotics Framework for Indoor Environments

• arxiv url: http://arxiv.org/abs/2606.31144v1
• Date: Tue, 30 Jun 2026 05:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.083576
• Title: A Modular Vision-Language-Action Robotics Framework for Indoor Environments
• Title（参考訳）: 室内環境のためのモジュール型ビジョン・ランゲージ・アクション・ロボティクス・フレームワーク
• Abstract要約: 本稿では,CMU Vision-Language-Action Challengeのための統合システムを提案する。 自律エージェントは自然言語命令に基づいて複雑なタスクを実行できる。 このフレームワークは、環境マッピング、質問処理、ナビゲーションを編成するモジュラーアーキテクチャを採用している。
• 参考スコア（独自算出の注目度）: 1.399948157377307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an integrated system for the CMU Vision-Language-Action (VLA) Challenge, designed to enable an autonomous agent to perform complex tasks based on natural language instructions. Our framework employs a modular architecture that orchestrates environment mapping, question processing, and navigation. The system operates in two parallel streams: a perception pipeline that constructs a semantic voxel map from real-time camera feeds using OwlViT embeddings, and a language pipeline that classifies user commands with a Vision-Language Model. The mapping is time-constrained; the system proceeds with a partial map if a 500-second exploration limit is reached. The classified query is then grounded in the geometric and semantic context of the map to generate a detailed prompt for the VLM. This yields an actionable output, demonstrating a capable solution for bridging the gap between human language and robotic action.
• Abstract（参考訳）: 本稿では、自律型エージェントが自然言語命令に基づいて複雑なタスクを実行できるよう、CMU Vision-Language-Action (VLA) Challenge の統合システムを提案する。 私たちのフレームワークでは、環境マッピング、質問処理、ナビゲーションを編成するモジュールアーキテクチャを採用しています。 このシステムは2つの並列ストリームで動作し、OwlViT埋め込みを使用してリアルタイムカメラフィードからセマンティックボクセルマップを構築する知覚パイプラインと、Vision-Language Modelでユーザコマンドを分類する言語パイプラインである。 システムは500秒の探索限界に達すると部分写像で進行する。 分類されたクエリは、VLMの詳細なプロンプトを生成するために、マップの幾何学的および意味的なコンテキストに接地される。 これにより動作可能な出力が得られ、人間の言語とロボットの動作のギャップを埋めるための有効なソリューションが示される。

関連論文リスト

• Hierarchical Prompting with Dual LLM Modules for Robotic Task and Motion Planning [0.9161429607454362]
  ロボットタスクと運動計画のための階層型言語駆動型フレームワークを提案する。 提案システムは2つの大きな言語モデル (LLM) モジュールを用いる。 システム全体のタスク成功率は86%に達した。
  論文  参考訳（メタデータ） (2026-05-08T17:36:13Z)
• From Language to Logic: A Theoretical Architecture for VLM-Grounded Safe Navigation [0.0]
  本研究では,自律型ロボットナビゲーションに高レベルかつ人為的な安全ルールと,操作者によるセマンティックな嗜好を組み込むアーキテクチャを提案する。 永続的で環境中心のルールと地形の嗜好は2次元のコストマップに基礎を置いている。 本研究では,STLに符号化された仕様とソフトオペレータの嗜好を満たすための図形ナビゲーションモデルを構築した。
  論文  参考訳（メタデータ） (2026-05-05T22:16:26Z)
• OVI-MAP:Open-Vocabulary Instance-Semantic Mapping [108.66131262110095]
  OVI-MAPは、RGB-D入力から漸進的に構築される、クラスに依存しない3Dインスタンスマップである。 意味的特徴は、視覚言語モデルを用いて、選択された少数のビューからのみ抽出される。 我々のシステムはリアルタイムに動作し、標準ベンチマークで最先端のオープン語彙マッピングのベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-03-27T15:50:59Z)
• AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
  VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。 本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
  論文  参考訳（メタデータ） (2026-03-18T12:43:47Z)
• LIAM: Multimodal Transformer for Language Instructions, Images, Actions and Semantic Maps [24.822276221016832]
  言語,イメージ,アクション,マップの入力に基づいて,アクションの書き起こしを予測するエンド・ツー・エンドのモデルであるLIAMを提案する。 国内タスクのシミュレータ生成ベンチマークであるALFREDデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2025-03-15T18:54:06Z)
• IVLMap: Instance-Aware Visual Language Grounding for Consumer Robot Navigation [10.006058028927907]
  VLN(Vision-and-Language Navigation)は、人間の自然言語で写実的な環境を移動させるロボットを必要とする課題である。 近年の研究では,環境の意味的な空間地図表現を構築することで,この課題に対処することを目指している。 本稿では,インスタンスレベルおよび属性レベルのセマンティックマッピングをロボットに提供するために,インスタンス対応のビジュアル言語マップ(IVLMap)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T11:52:42Z)
• Vision and Language Navigation in the Real World via Online Visual Language Mapping [18.769171505280127]
  視覚・言語ナビゲーション(VLN)法は主にシミュレーションで評価される。 実世界のVLN課題に対処する新しい枠組みを提案する。 未確認実験環境において,Interbotix LoCoBot WX250を用いたパイプラインの評価を行った。
  論文  参考訳（メタデータ） (2023-10-16T20:44:09Z)
• LangNav: Language as a Perceptual Representation for Navigation [63.90602960822604]
  視覚・言語ナビゲーション(VLN)における知覚表現としての言語の利用について検討する。 提案手法では,画像キャプションや物体検出に市販の視覚システムを用いて,エージェントのエゴセントリックなパノラマビューを各ステップで自然言語記述に変換する。
  論文  参考訳（メタデータ） (2023-10-11T20:52:30Z)
• Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation [87.52136927091712]
  我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。 高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。 より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
  論文  参考訳（メタデータ） (2022-10-14T04:23:27Z)
• Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation [87.03299519917019]
  本稿では,2次元グラフ変換器 (DUET) を提案する。 我々は,グローバルな行動空間における効率的な探索を可能にするために,トポロジカルマップをオンザフライで構築する。 提案手法であるDUETは、目標指向の視覚・言語ナビゲーションベンチマークにおいて最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-02-23T19:06:53Z)
• Language Guided Networks for Cross-modal Moment Retrieval [66.49445903955777]
  モーダルモーダルモーメント検索は、自然言語クエリによって記述された未編集ビデオから時間セグメントをローカライズすることを目的としている。 既存の手法は、ビデオや文の特徴を独立して抽出する。 本稿では,言語ガイドネットワーク(LGN, Language Guided Networks)について紹介する。
  論文  参考訳（メタデータ） (2020-06-18T12:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。