論文の概要: InfraVLA: Extending Vision-Language-Action Navigation with Infrastructure Cameras
- arxiv url: http://arxiv.org/abs/2609.33647v1
- Date: Sun, 27 Sep 2026 15:12:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 15:02:21.644556
- Title: InfraVLA: Extending Vision-Language-Action Navigation with Infrastructure Cameras
- Title（参考訳）: InfraVLA: インフラストラクチャカメラによるビジョンランゲージ・アクションナビゲーションの拡張
- Abstract要約: このような静的なインフラストラクチャビューに事前訓練されたナビゲーションVLAを適用するエンド・ツー・エンドの手法を提案する。
我々は,2つの模擬倉庫作業について評価し,命令に名前の付いたオブジェクトを探索し,ブロックされた通路の周囲に再配置する。
InfraVLAは、CCTV入力なしのベースラインでは34.0%と73.6%に対して、どちらも100%の成功率に達した。
- 参考スコア（独自算出の注目度）: 15.64143645535451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many indoor environments in which robots operate, such as warehouses, offices, and hospitals, already have cameras installed. They observe parts of the building that the robot cannot see from where it stands, yet navigation policies, including recent vision-language-action (VLA) models, do not use them. We propose InfraVLA, an end-to-end method that adapts a pretrained navigation VLA to such static infrastructure views: a closed-circuit television (CCTV) encoder turns each external view into tokens of the input sequence. Because the views matter only at rare decision points, fine-tuning alone did not make the policy use them in our experiments; we therefore train in two stages, on demonstrations with upsampled counterfactual data and then on recovery data. We evaluate on two simulated warehouse tasks, finding an object named in the instruction and rerouting around blocked aisles, where the deciding information is often visible only to the infrastructure cameras. Tested in distribution, InfraVLA reached a success rate of 100% on both, against 34.0% and 73.6% for a baseline without CCTV input. On out-of-distribution test sets it reached 88.2% and 88.9%. On a real quadruped fine-tuned with under 10 minutes of demonstrations, the policy reached 83.3% against 29.2% for the on-board-only baseline.
- Abstract（参考訳）: 倉庫、オフィス、病院など、ロボットが動作する屋内環境の多くは、既にカメラが設置されている。
彼らはロボットが現在位置から見ることができない建物の一部を観察するが、最近の視覚言語アクション(VLA)モデルを含むナビゲーションポリシーは使用しない。
InfraVLAは、事前訓練されたナビゲーションVLAを静的なインフラストラクチャビューに適応させるエンド・ツー・エンドの手法である、CCTVエンコーダにより、各外部ビューを入力シーケンスのトークンに変換する。
本研究は, 極めて稀な意思決定点においてのみ重要であるため, 微調整だけでは政策に役立てられず, 2段階に分けて, 実証実験を行い, 実証実験を行い, 回収実験を行った。
筆者らは,2つの模擬倉庫作業について評価し,命令に名前をつけたオブジェクトの発見と,ブロックされた通路周辺でのリルーチンを行い,その決定情報はインフラストラクチャーカメラのみによく見られるようにした。
InfraVLAは、CCTV入力なしのベースラインでは34.0%と73.6%に対して、双方で100%の成功率に達した。
アウト・オブ・ディストリビューションテストセットでは88.2%と88.9%に達した。
10分未満のデモで、実際の4倍の微調整で、ポリシーは83.3%に達し、オンボードのみのベースラインでは29.2%に達した。
関連論文リスト
- CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation [2.1645011609137295]
3Dビューは、ロボットがどこにいるかをテレオペレーターに伝えるが、シーンには含まれていない。
CognitiveRealityは、ロボットのRGB-Dストリームをオペレーターによる生きたセマンティックインデックス付きTSマップに変える。
論文 参考訳（メタデータ） (2026-09-25T15:39:28Z) - Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation [61.15247763568461]
本稿では,ロボット利用エージェントフレームワークであるRobo-Harness K1を紹介する。
一致した LIBERO-PRO タスクでは、Gemini 3.7 Flash with K1 が 77.8% に達し、GPT-6 Astra の 61.1% を RGB のみのハーネスで上回った。
RoboTwin では Easy で 32.0%、Hard で 28.0% を達成し、視覚的および環境的な摂動に対するレジリエンスを示している。
論文 参考訳（メタデータ） (2026-09-24T11:16:18Z) - VANTAGE-Bench: Evaluating the Infrastructure AI Gap in Vision-Language Models [6.534399108411788]
物理AIのクラス: インフラストラクチャAIは、オープンループロギングの洞察のために固定カメラに依存している。
私たちは、この"インフラAIギャップ"を測定するベンチマークであるVANTAGE-Benchを紹介します。
我々は、ゼロショットを17モデル評価し、一般ではなく、消費者中心のベンチマークに対する欠点が集中していることを見出した。
論文 参考訳（メタデータ） (2026-09-08T19:50:25Z) - Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies [4.9948584685520805]
固定シーンカメラから微調整されたポリシーは、タスク、オブジェクト、言語、ロボットの状態が変化しても、カメラが動いたときに失敗する可能性がある。
シーンRGB画像,言語,プロプレセプションのみを用いてシーンカメラの視点を,カメララベル,外在性,深度,ポイントクラウド入力なしで研究する。
我々は、元のLIBEROデモを同じ MuJoCo 状態にリセットし、名目と乱れたシーンカメラビューをレンダリングすることで、アクション等価なビューペアを構築する。
論文 参考訳（メタデータ） (2026-08-07T08:41:31Z) - Robostral Navigate [138.74472687550374]
Robostral Navigateは、大規模なナビゲーションシステムのための視覚言語モデルである。
モノラルなRGB画像のストリームのみを消費し、現在のカメラビューの次のターゲット位置を指して、ウェイポイントを予測する。
我々は、実世界のデータ収集への依存を減らすため、350kのシミュレートされたシーンに240万のトラジェクトリを生成します。
論文 参考訳（メタデータ） (2026-07-22T23:13:05Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - LLM-Guided Agentic Floor Plan Parsing for Accessible Indoor Navigation of Blind and Low-Vision People [4.3114959617830015]
本稿では,単一のフロアプランイメージを構造化して検索可能な知識ベースに変換し,ナビゲーション命令を生成するエージェントフレームワークを提案する。
実世界のUMBC Math and Psychology Building (floors MP-1, MP-3) とCVC-FPベンチマークで評価を行った。
論文 参考訳（メタデータ） (2026-04-27T02:32:44Z) - Instance-level Visual Active Tracking with Occlusion-Aware Planning [61.982298426203165]
Visual Active Tracking (VAT)は、カメラを3D空間でターゲットに追従することを目的としている。
VATは、視覚的に類似したイントラクタからの混乱と、閉塞下での深刻な障害という、現実世界のデプロイメントにおいて2つの重要なボトルネックに直面している。
3つの相補的なモジュールを持つ統一パイプラインであるOA-VATを提案する。
論文 参考訳（メタデータ） (2026-04-23T09:11:50Z) - The 9th AI City Challenge [64.32227009699942]
第9回AIシティチャレンジは、輸送、産業自動化、公共安全におけるコンピュータビジョンとAIの現実的な応用を推し進めている。
2025年版では4トラックが収録され、17%が参加し、評価サーバに登録された15カ国から245チームが参加した。
チャレンジデータセットのパブリックリリースにより、これまでに3万回以上ダウンロードされた。
論文 参考訳（メタデータ） (2025-08-19T06:55:06Z) - MITFAS: Mutual Information based Temporal Feature Alignment and Sampling
for Aerial Video Action Recognition [59.905048445296906]
UAVビデオにおける行動認識のための新しいアプローチを提案する。
我々は、時間領域における人間の行動や動きに対応する領域を計算・調整するために、相互情報の概念を用いる。
実際には、最先端の手法よりもTop-1の精度が18.9%向上している。
論文 参考訳（メタデータ） (2023-03-05T04:05:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。