論文の概要: PanoFuse: Panorama-Enhanced Vision-Language-Action Learning with Decoupled Semantic-Geometric Routing

• arxiv url: http://arxiv.org/abs/2609.31717v1
• Date: Mon, 21 Sep 2026 16:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:26:18.395779
• Title: PanoFuse: Panorama-Enhanced Vision-Language-Action Learning with Decoupled Semantic-Geometric Routing
• Title（参考訳）: PanoFuse: セマンティック・ジオメトリ・ルーティングを分離したパノラマ型ビジョンランゲージ・アクション・ラーニング
• Abstract要約: VLA(Vision-Language-Action)ポリシーは、言語条件のロボット操作において有望なパフォーマンスを示している。 PanoFuseはパノラマで強化されたVLAフレームワークで、局所的な観察と大域的なパノラマ知覚を補完する。 パノフューズの平均成功率は52.9%であり、評価されたベースラインを上回り、新奇な対象、目に見えない背景、気を散らすような設定で一貫した利得を達成する。
• 参考スコア（独自算出の注目度）: 15.467674034024112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) policies have shown promising performance in language-conditioned robotic manipulation. However, most existing VLA systems rely on conventional perspective cameras with limited fields of view, often missing global scene context and leading to unreliable manipulation under visual occlusions, distractors, and unseen environments. In this work, we propose PanoFuse, a panorama-enhanced VLA framework that complements local manipulation observations with global panoramic perception. PanoFuse introduces a dedicated panoramic branch that leverages a pretrained panoramic foundation model to extract complementary semantic and geometric representations from omnidirectional observations. Rather than directly mixing these heterogeneous features, we introduce Decoupled Semantic-Geometric Routing (DSGR), which maintains semantic and geometric representations as separate context streams and selectively routes both to downstream state and action representations through structured block-wise attention. This design provides the action expert with global spatial context while preserving task-relevant semantic information from the pretrained VLA backbone. We further develop a synchronized data collection pipeline and construct a new real-world manipulation dataset containing panoramic RGB observations, wrist-view images, language instructions, robot states, and actions. Across seven evaluation settings, PanoFuse achieves an average success rate of 52.9%, outperforming the evaluated baselines and achieving consistent gains under novel-object, unseen-background, and distractor-rich settings. Code and data will be released publicly at https://xux-hnu.github.io/PanoFuse.
• Abstract（参考訳）: VLA(Vision-Language-Action)ポリシーは、言語条件のロボット操作において有望なパフォーマンスを示している。 しかしながら、既存のVLAシステムの多くは、視野が限られた従来の視野カメラに依存しており、しばしばグローバルなシーンコンテキストが欠落し、視覚的閉塞、邪魔者、見えない環境下での信頼性の低い操作につながっている。 本研究では,パノラマで拡張されたVLAフレームワークであるPanoFuseを提案し,局所的な観察と大域的なパノラマ知覚を補完する。 PanoFuseは、事前訓練されたパノラマ基礎モデルを利用して、全方位観測から補完的意味論と幾何学的表現を抽出する専用のパノラマ分岐を導入する。 非均一な特徴を直接混合するのではなく、意味的および幾何学的表現を個別の文脈ストリームとして維持し、構造化ブロックワイズによる下流状態と行動表現の両方を選択的にルーティングするDecoupled Semantic-Geometric Routing (DSGR)を導入する。 この設計は、訓練済みのVLAバックボーンからタスク関連セマンティック情報を保存しながら、グローバルな空間コンテキストをアクションエキスパートに提供する。 さらに、同期データ収集パイプラインを開発し、パノラマRGB観測、手首ビュー画像、言語指示、ロボットの状態、動作を含む新しい実世界の操作データセットを構築した。 7つの評価設定で、PanoFuseは52.9%の平均的な成功率を達成し、評価されたベースラインを上回り、新規な対象、目に見えない背景、気を散らすような設定で一貫した利得を達成する。 コードとデータはhttps://xux-hnu.github.io/PanoFuse.comで公開される。

関連論文リスト

• Topology-Informed Visual Prompting For Vision Language Action Policies [14.2979228480631]
  視覚言語アクション(VLA)ポリシーは、部分的な可観測性のために複雑な障害物ジオメトリーを持つ操作タスクと競合する可能性がある。 本稿では,シミュレーションに基づく計画手法を用いて,概念実証データセットを増強するトポロジ誘導型ビジュアルプロンプティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-20T23:39:39Z)
• EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories [16.996900088118412]
  エボディメント・セマンティック(EmbodimentSemantic)は、空間的シーングラフのデータセットと、エンボディード操作における関係グラウンドの評価のためのベンチマークである。 データセットには、低コストのSO101ロボットアームで収集された現実世界の操作観察が含まれている。 また,60K以上の操作フレームと120K以上のカメラ固有のシーングラフを3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人
  論文  参考訳（メタデータ） (2026-06-06T18:58:54Z)
• GeoAlignCLIP: Enhancing Fine-Grained Vision-Language Alignment in Remote Sensing via Multi-Granular Consistency Learning [8.819428500071007]
  視覚言語事前学習モデルは、自然言語によるリモートセンシング画像のブリッジにおいて大きな進歩を遂げている。 リモートセンシングタスクにおける微粒なアライメントを実現する統合フレームワークGeoAlignCLIPを提案する。 RSFG-100kはシーン記述、地域レベルのアノテーション、難易度の高いサンプルを含む微粒なリモートセンシングデータセットである。
  論文  参考訳（メタデータ） (2026-03-10T12:12:11Z)
• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• I-Perceive: A Foundation Model for Active Perception with Language Instructions [41.67607728608853]
  I-Perceiveは,自然言語命令に基づく能動的知覚の基礎モデルである。 I-Perceiveは、画像ベースのシーンコンテキストに基づいて、オープンな言語命令に従うカメラビューを予測する。 実験により、I-Perceiveは、生成したカメラビューの予測精度とインストラクションの両方において、最先端のVLMを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-28T11:38:56Z)
• Visual Self-Refine: A Pixel-Guided Paradigm for Accurate Chart Parsing [76.2602505940467]
  既存のモデルは、しばしば視覚的に密集したチャートに苦しむため、データの欠落、修正ミス、幻覚などのエラーにつながる。 複雑なチャートを読む際の精度を確保するために指を視覚アンカーとして使うという人間の戦略に触発され、視覚自己認識(VSR)と呼ばれる新しいパラダイムを提案する。 VSRの中核となる考え方は、モデルがピクセルレベルのローカライゼーション出力を生成し、それらを視覚化し、それらの視覚化を自身にフィードバックし、直感的にその潜在的な視覚的認識エラーを検査し修正できるようにすることである。
  論文  参考訳（メタデータ） (2026-02-18T13:40:53Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition [57.97930719585095]
  本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。 本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。 その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-06-19T08:22:32Z)
• Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation [84.62067728093358]
  弱教師付きオブジェクトローカライゼーションとセマンティックセグメンテーションは、画像レベルのラベルのみを使用してオブジェクトをローカライズすることを目的としている。 画素レベルのローカライゼーションを実現するために,フォアグラウンド予測マップを生成することで,新たなパラダイムが誕生した。 本稿では,物体の局在化学習過程に関する2つの驚くべき実験結果を示す。
  論文  参考訳（メタデータ） (2023-09-22T15:44:10Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。