論文の概要: Seeing the Invisible: Physics-Guided Visual Prompting for Temperature- and Radiation-Aware VLA Navigation
- arxiv url: http://arxiv.org/abs/2610.07558v1
- Date: Tue, 06 Oct 2026 00:44:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.726358
- Title: Seeing the Invisible: Physics-Guided Visual Prompting for Temperature- and Radiation-Aware VLA Navigation
- Title(参考訳): 目に見えないものを見る:物理誘導型温度・放射線対応VLAナビゲーション用視覚プロンプト
- Abstract要約: 安全に重要な施設では、放射線や温度スパイクのような見えないリスクはRGBカメラでは検出できない。
プラグアンドプレイ型マルチモーダル認識モジュールである物理誘導型ビジュアル・プロンプティング(PG-VP)を提案する。
R2R-CE と RxR-CE の val-unseen splits を用いて OmniNav のPG-VP を評価し,84.9% と83.2% の症例において意図した低リスク行動に向けた政策を導出する。
- 参考スコア(独自算出の注目度): 3.4804566114099345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have become a major paradigm for Vision-and-Language Navigation (VLN). However, in safety-critical facilities, invisible risks such as radiation or temperature spikes cannot be detected by an RGB camera, and handling each risk is expensive, requiring a new encoder, new data, and model retraining. We propose Physics-Guided Visual Prompting (PG-VP), a plug-and-play multimodal perception module that instead reuses what a frozen VLA model already does well: avoiding visible obstacles. Given a proximal radiation or thermal source, PG-VP performs a physics-guided risk assessment to determine the avoidance direction and overlays a corresponding virtual obstacle that moves across consecutive frames (Dynamic Visual Prompting). The navigation policy then naturally detours around this invisible hazard. The identical virtual obstacle is used regardless of hazard type, so the visual prompting pattern remains fixed as sensors are added. When no hazard is detected, nothing is rendered, and the policy behaves exactly as it would without PG-VP. We evaluate PG-VP on OmniNav using the val-unseen splits of R2R-CE and RxR-CE, where it guides the policy toward intended low-risk actions in 84.9% and 83.2% of cases, at a cost of 6.8 and 7.9 percentage points in navigation success rate. We further test it with distinct scenarios on a real robot in the presence of actual thermal and radiation sources, all without any retraining. The real test shows that PG-VP effectively avoids these invisible hazards, improving worst-10% average trajectory safety by 63.45% and 32.59% against thermal and radiation sources, respectively.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、VLN(Vision-and-Language Navigation)の主要なパラダイムとなっている。
しかし、安全上重要な施設では、放射線や温度スパイクなどの目に見えないリスクはRGBカメラでは検出できず、リスクの扱いにはコストがかかるため、新しいエンコーダ、新しいデータ、モデル再訓練が必要である。
我々は,凍結したVLAモデルがすでに行っていることを再利用するプラグイン・アンド・プレイ型マルチモーダル認識モジュールである物理誘導型ビジュアル・プロンプティング(PG-VP)を提案する。
PG-VPは、近距離放射または熱源が与えられた場合、物理誘導リスク評価を行い、回避方向を決定し、連続するフレームを移動する対応する仮想障害物をオーバーレイする(Dynamic Visual Prompting)。
ナビゲーションポリシーは、この目に見えない危険を自然に回避します。
危険の種類にかかわらず、同一の仮想障害物が使用されるため、センサーが追加されるにつれて視覚的プロンプトパターンが固定される。
危険が検出されない場合、何もレンダリングされず、ポリシーはPG-VPなしでも同じように振る舞う。
我々は,OmniNavのPG-VPをR2R-CEとRxR-CEのval-unseen分割を用いて評価し,84.9%,83.2%のケースにおいて,ナビゲーション成功率6.8および7.9%のコストで,意図した低リスク行動に向けたポリシーを導出する。
さらに、実際の熱源や放射線源の存在下で、実際のロボット上で異なるシナリオでテストします。
実際のテストでは、PG-VPはこれらの目に見えない危険を効果的に回避し、それぞれ熱源と放射線源に対する平均軌道安全性を63.45%、平均軌道安全性を32.59%改善している。
関連論文リスト
- Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving [46.17295445504376]
逆気象条件は画素対応を歪め、自己教師付き損失関数に埋め込まれた仮定に違反する可能性がある。
レーダは悪天候下で広く採用されているセンサであるが、ポイント・オブ・ビュー(POV)におけるレーダーポイントの疎分布は、自己監督型核融合の課題を提起している。
マルチティーラー蒸留とロバストレーダ融合による全天候データを用いた新しい自己学習パイプラインを提案する。
論文 参考訳(メタデータ) (2026-07-23T17:11:33Z) - Benchmarking the Robustness of Autonomous Driving to Environmental Illusions: A Lane Perception Perspective [76.02772556944073]
環境錯覚は自然に存在するが、現実の運転環境では見過ごされている現象である。
視覚的知覚を妨害し、シーンの誤解を招き、自動運転システムに深刻な安全リスクをもたらす。
最初のベンチマークであるLanEvil++を導入し、環境錯覚下での車線知覚の堅牢性を評価する。
論文 参考訳(メタデータ) (2026-07-07T03:15:00Z) - PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning [54.70033525672316]
ビデオ対応の大型言語モデル(MLLM)は、このウィンドウ内で警告を発する常時オンの安全モニタとして機能する。
今回紹介するPaSBench-Videoは、481のリスクと4つのドメインにわたる259のリスクビデオを備えた740のビデオベンチマークだ。
最も厳密な基準ではモデルが20.0%を超えることはなく、リコールは偽陽性率と強く結びついている。
論文 参考訳(メタデータ) (2026-06-01T16:14:01Z) - Learning Material-Aware Hamiltonian Risk Fields for Safe Navigation [4.023164329164762]
政策は、局地的な状況がよりリスクの低い行動を認める場合にのみ、回避可能な自由度を公開するべきである。
ポート・ハミルトンの航法方針に1つの文脈エネルギー項を加えると、このファルサブルなシグネチャを持つ学習力チャネルが生成されることを示す。
論文 参考訳(メタデータ) (2026-05-07T23:33:34Z) - Instance-level Visual Active Tracking with Occlusion-Aware Planning [61.982298426203165]
Visual Active Tracking (VAT)は、カメラを3D空間でターゲットに追従することを目的としている。
VATは、視覚的に類似したイントラクタからの混乱と、閉塞下での深刻な障害という、現実世界のデプロイメントにおいて2つの重要なボトルネックに直面している。
3つの相補的なモジュールを持つ統一パイプラインであるOA-VATを提案する。
論文 参考訳(メタデータ) (2026-04-23T09:11:50Z) - Sidewalk Hazard Detection Using Variational Autoencoder and One-Class SVM [1.7495213911983414]
本稿では,ハイブリッドアプローチを用いた歩道安全ナビゲーションシステムを提案する。
このシステムは歩道の異常を検知し、歩行障害を引き起こす可能性がある。
提案されたVAEモデルは高い性能を示し、AUC(Area Under the Curve)は0.94である。
論文 参考訳(メタデータ) (2024-12-31T18:18:05Z) - Effective and Efficient Adversarial Detection for Vision-Language Models via A Single Vector [97.92369017531038]
Diverse hArmful Responses (RADAR) を用いた新しい laRge-scale Adervsarial 画像データセットを構築した。
そこで我々は,視覚言語モデル (VLM) の隠れ状態から抽出した1つのベクトルを利用して,入力中の良質な画像に対して対向画像を検出する,新しいiN時間埋め込み型AdveRSarial Image Detectction (NEARSIDE) 法を開発した。
論文 参考訳(メタデータ) (2024-10-30T10:33:10Z) - Multi Visual Modality Fall Detection Dataset [4.00152916049695]
転倒は、世界中の高齢者の怪我による死亡の主な原因の1つだ。
効果的なフォールの検出は、合併症や怪我のリスクを減らすことができる。
しかし、通常のRGBカメラは照明条件やプライバシーの懸念によって影響を受ける。
論文 参考訳(メタデータ) (2022-06-25T21:54:26Z) - Physically Realizable Adversarial Examples for LiDAR Object Detection [72.0017682322147]
本稿では,LiDAR検出器を騙すために,汎用な3次元対向物体を生成する手法を提案する。
特に,LiDAR検出器から車両を完全に隠蔽するために,車両の屋根上に対向物体を配置し,その成功率は80%であることを示した。
これは、限られたトレーニングデータから見知らぬ条件下での、より安全な自動運転への一歩だ。
論文 参考訳(メタデータ) (2020-04-01T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。