論文の概要: Robust Scene Transfer for PointGoal Navigation via Privileged Sensor Guided Contrastive Learning
- arxiv url: http://arxiv.org/abs/2606.05506v1
- Date: Wed, 03 Jun 2026 23:15:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-06 06:55:34.616796
- Title: Robust Scene Transfer for PointGoal Navigation via Privileged Sensor Guided Contrastive Learning
- Title(参考訳): 原始的センサ誘導コントラスト学習によるポイントゴールナビゲーションのためのロバストなシーン転送
- Authors: Amirhossein Zhalehmehrabi, Tiziano Tezze, Alberto Castelini, Alessandro Farinelli,
- Abstract要約: PointGoalナビゲーションにおける視覚表現学習のためのセンサ誘導適応型コントラスト学習フレームワークを提案する。
トレーニング中、特権付きLiDARセンシングは、幾何学的類似度メトリックと適応温度スケーリングを通じて、対照的な目標を導出する。
得られたエンコーダは、独立して事前訓練され、凍結され、強化学習のバックボーンとして使用される。
- 参考スコア(独自算出の注目度): 45.2217589644315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a sensor-guided adaptive contrastive learning framework for visual representation learning in PointGoal navigation. During training, privileged LiDAR sensing guides the contrastive objective through a geometry-aware similarity metric and adaptive temperature scaling, encouraging visual embeddings to capture navigation-relevant structure rather than scene-specific appearance. The resulting encoder is pretrained independently, frozen, and used as the perceptual backbone for reinforcement learning, decoupling representation learning from policy optimization. We further introduce a cross-stage domain mismatch between representation pretraining and policy learning to suppress environment-specific shortcuts and promote reliance on task-relevant features. Extensive experiments in high-fidelity simulation demonstrate that our approach significantly improves policy-level scene transfer across diverse indoor and outdoor environments. At deployment, the agent relies only on monocular RGB observations together with standard task-related inputs such as goal position and proprioceptive signals, without access to LiDAR or other privileged sensors. Our method outperforms large pretrained vision models and standard contrastive baselines under severe appearance and semantic shifts. We also release a multimodal dataset to support future research on privileged-guided visual representation learning for navigation. The code is available at:
- Abstract(参考訳): PointGoalナビゲーションにおける視覚表現学習のためのセンサ誘導適応型コントラスト学習フレームワークを提案する。
訓練中、特権付きLiDARセンシングは、幾何学的類似度メトリックと適応温度スケーリングを通じて対照的な目的を導いており、視覚的な埋め込みは、シーン固有の外観ではなく、ナビゲーション関連構造をキャプチャすることを奨励している。
得られたエンコーダは、独立して事前訓練され、凍結され、ポリシー最適化から表現学習を分離する強化学習の知覚バックボーンとして使用される。
さらに、環境固有のショートカットを抑え、タスク関連機能への依存を促進するために、表現事前学習とポリシー学習のクロスステージドメインミスマッチを導入する。
高忠実度シミュレーションによる広汎な実験により,室内および屋外の多様な環境における政策レベルのシーン転送が大幅に改善されることが示されている。
展開において、エージェントは、LiDARや他の特権センサーへのアクセスなしに、ゴール位置やプロプレセプティブ信号などの標準タスク関連の入力とともに、単眼のRGB観測のみに依存する。
提案手法は, 視覚モデルと標準コントラストベースラインを, 厳密な外見と意味的シフト下で性能的に向上させる。
また、ナビゲーションのための特権付き視覚表現学習の今後の研究を支援するためのマルチモーダルデータセットもリリースしている。
コードは以下の通り。
関連論文リスト
- Cross-Modal Reinforcement Learning for Navigation with Degraded Depth Measurements [9.487836148196713]
我々は、クロスモーダルな一貫性を強制することによって共有潜在表現を学習するクロスモーダルなワッサースタインオートエンコーダを導入する。
学習された表現は、非構造環境における衝突のないナビゲーションのための強化学習ベースのポリシーと統合される。
論文 参考訳(メタデータ) (2026-03-23T16:45:03Z) - VLD: Visual Language Goal Distance for Reinforcement Learning Navigation [5.225089020389076]
本稿では,目標条件付きナビゲーションのフレームワークであるビジョン・ランゲージ・ディスタンス(VLD)学習を紹介する。
まず、インターネット規模のビデオデータに基づいて、自己教師付き距離目標予測器を訓練する。
この予測器は画像とテキストの両方の目標を一般化し、強化学習ポリシーによって最小化できる距離信号を提供する。
論文 参考訳(メタデータ) (2025-12-08T19:05:51Z) - Few-Shot Remote Sensing Image Scene Classification with CLIP and Prompt Learning [0.9558392439655014]
我々は,数ショットのリモートセンシング画像シーン分類のための軽量かつ効率的な適応戦略として,即時学習を探求する。
これらのプロンプト学習手法を,手作りプロンプトを用いたゼロショットCLIPと,凍結したCLIPの特徴を訓練した線形プローブの2つの標準ベースラインに対してベンチマークした。
我々の研究結果は、衛星画像と空中画像の領域ギャップを埋めるスケーラブルで効率的な方法として、迅速な学習を裏付けている。
論文 参考訳(メタデータ) (2025-10-28T11:39:22Z) - ZoRI: Towards Discriminative Zero-Shot Remote Sensing Instance Segmentation [23.40908829241552]
本稿では,訓練データに欠落した空中物体を特定することを目的とした,ゼロショットリモートセンシングインスタンスセグメンテーションという新しいタスクを提案する。
我々は,事前学習された視覚言語アライメントを維持するために,意味関連情報を分離する知識注入型適応戦略を導入する。
我々は,新しい実験プロトコルとベンチマークを構築し,ZoRIが最先端の性能を達成することを実証する広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-12-17T11:00:56Z) - Interactive Semantic Map Representation for Skill-based Visual Object
Navigation [43.71312386938849]
本稿では,室内環境との相互作用にともなうシーンセマンティックマップの表現について紹介する。
我々はこの表現をSkillTronと呼ばれる本格的なナビゲーション手法に実装した。
提案手法により,ロボット探索の中間目標とオブジェクトナビゲーションの最終目標の両方を形成できる。
論文 参考訳(メタデータ) (2023-11-07T16:30:12Z) - Learning Navigational Visual Representations with Semantic Map
Supervision [85.91625020847358]
エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。
Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
論文 参考訳(メタデータ) (2023-07-23T14:01:05Z) - Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。
主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。
上述の潜在対応をモデル化するための双レベルパラダイムを導入する。
エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
論文 参考訳(メタデータ) (2023-06-02T08:16:21Z) - Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。
目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。
本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
論文 参考訳(メタデータ) (2022-09-10T19:04:40Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-08T06:32:52Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳(メタデータ) (2020-09-01T03:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。