論文の概要: SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions

• arxiv url: http://arxiv.org/abs/2610.14082v1
• Date: Thu, 08 Oct 2026 12:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 23:27:30.590413
• Title: SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions
• Title（参考訳）: SenseWeather:極端条件下でのロバストロボット知覚のためのマルチモーダルセンシング
• Abstract要約: 本稿では,タスク互換のRGB観測を上流で再現できるかどうかについて検討する。 豪雨,雪,ほこり,霧,闇の下でのロボット知覚のための制御されたマルチモーダル・ベンチマークであるSenseWeatherを紹介した。 拡散変換器のためのトークン空間融合に基づく2つのパラメータ効率のセンサフュージョンを実現するFusion-to-RGBを開発した。
• 参考スコア（独自算出の注目度）: 40.27206816302145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic perception must remain reliable when extreme environmental conditions severely degrade the primary RGB observation. Although robotic platforms commonly carry complementary sensors such as depth and infrared, much of the modern perception stack remains RGB-centric, creating a mismatch between multimodal onboard sensing and pretrained downstream models. We study whether complementary sensing can be used upstream to recover a task-compatible RGB observation that preserves existing perception capabilities without modifying or retraining the downstream stack. To this end, we introduce SenseWeather, a controlled multimodal benchmark for robotic perception under severe rain, snow, dust, fog, and darkness, with registered RGB, depth, and infrared observations, clean references, and grounded high-level perception tasks. We further develop Fusion-to-RGB, with two parameter-efficient sensor-fusion realizations based on token-space fusion for a diffusion transformer and residual latent conditioning for an inpainting UNet. Across frozen open-vocabulary grounding and vision-language models, RGB+D+IR fusion improves all paired downstream comparisons over the corresponding RGB-only restorers, including AP50 gains across all ten detector comparisons. Importantly, these perception gains do not consistently follow conventional image-fidelity metrics, and increasing weather severity does not induce monotonic downstream degradation. These results show that complementary sensing can preserve reusable robotic perception under extreme conditions, while highlighting task-level perception robustness as an objective distinct from visual restoration quality.
• Abstract（参考訳）: 極度の環境条件が一次RGB観測を著しく低下させる場合、ロボットの知覚は信頼性を保たなければならない。 ロボットプラットフォームは通常、深度や赤外線のような補完的なセンサーを搭載しているが、現代の知覚スタックの多くはRGB中心であり、マルチモーダル搭載センサーと事前訓練された下流モデルとのミスマッチを生み出している。 下流スタックの変更や再学習をすることなく既存の知覚能力を維持するタスク互換のRGB観測を上流で行うことができるかどうかを検討する。 この目的のために,大雨,雪,ほこり,霧,暗闇の下でロボットの知覚を制御したマルチモーダル・ベンチマークであるSenseWeatherを紹介した。 さらに,拡散変圧器のトークン空間融合と,UNetの残留潜時条件に基づく2つのパラメータ効率のセンサフュージョンを実現したFusion-to-RGBを開発した。 RGB+D+IR融合は、凍結したオープンボキャブラリグラウンドとヴィジュアル言語モデル全体で、対応するRGBのみのリプローラーと比較して、全10の検出器比較でAP50ゲインを含む全ての下流比較を改善する。 重要なことは、これらの知覚の利得は従来の画像忠実度指標に一貫して従わないため、天候の重大度の増加は単調な下流の劣化を誘発しない。 これらの結果から,視覚的回復品質とは別の目的として,作業レベル認知の頑健さを強調しつつ,相補的知覚が極端条件下で再利用可能なロボット知覚を維持できることが示唆された。

関連論文リスト

• Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark [68.49637363691325]
  本稿では,RGB-NIR低照度画像に3次元ニューラルモデリングを取り入れた新しい視点を提供する。 強力なモデルは、暗黙的に非常にノイズの多いRGB観測を3次元空間でNIRキューで融合させ、クリーンなRGBイメージを効果的に回収するために最適化することができる。
  論文  参考訳（メタデータ） (2026-07-31T17:59:18Z)
• Physical Adversarial Clothing Evades Visible-Thermal Detectors via Non-Overlapping RGB-T Pattern [38.804013012293595]
  オーバーラップしないRGB-Tパターン(NORP)を用いたRGB-T物理攻撃に対する新しいアプローチを提案する。 NORPは、重複するRGB-Tパターン(ORP)の光還元を回避し、異なる可視・熱材料を重なりのない新しい対向パターン設計である。
  論文  参考訳（メタデータ） (2026-05-06T09:24:37Z)
• Contrast-Guided Cross-Modal Distillation for Thermal Object Detection [1.8477401359673709]
  低いコントラストと弱い高周波キューは重複し、重複し、重複し、小さなオブジェクトを見逃し、クラスを混乱させる。 同じクラスの機能をまとめることで、インスタンスレベルの決定境界を鋭くする、トレーニングのみの目標を導入します。 実験では,提案手法は先行手法より優れ,最先端性能を実現した。
  論文  参考訳（メタデータ） (2025-11-03T10:38:01Z)
• SWIR-LightFusion: Multi-spectral Semantic Fusion of Synthetic SWIR with Thermal IR (LWIR/MWIR) and RGB [6.054759773528757]
  スペクトル再現を主張せずにSWIR様の構造/コントラストキューを合成的に生成する。 次に、合成SWIR、LWIR、RGBモダリティを統合したマルチモーダル融合フレームワークを提案する。 この結果は、監視と自律システムにおける現実世界の応用のかなりの可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-10-15T11:00:41Z)
• RASMD: RGB And SWIR Multispectral Driving Dataset for Robust Perception in Adverse Conditions [0.3141085922386211]
  短波長赤外線(SWIR)イメージングは、NIRとLWIRに対していくつかの利点がある。 現在の自律走行アルゴリズムは可視光スペクトルに大きく依存しており、悪条件下での性能劣化を招きやすい。 RGB と SWIR のマルチスペクトル駆動データセットを導入し,RGB-SWIR 画像ペアの同期化と空間整合化を実現した。
  論文  参考訳（メタデータ） (2025-04-10T09:54:57Z)
• Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
  高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。 提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
  論文  参考訳（メタデータ） (2025-01-25T06:21:06Z)
• Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration [66.33746403815283]
  シーン適応型赤外線と可視画像の登録を提案する。 我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。 我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T06:49:56Z)
• Learning Enriched Illuminants for Cross and Single Sensor Color Constancy [182.4997117953705]
  ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。 センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。 実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-21T15:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。