論文の概要: Robust Cross-Modal Foundation Model Perception for Underwater Robots under Degraded Visual Conditions

• arxiv url: http://arxiv.org/abs/2608.19710v1
• Date: Thu, 20 Aug 2026 07:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.480217
• Title: Robust Cross-Modal Foundation Model Perception for Underwater Robots under Degraded Visual Conditions
• Title（参考訳）: 劣化視覚下における水中ロボットのロバストなクロスモーダルファンデーションモデル知覚
• Abstract要約: 重度劣化下のソナーで事前学習した視覚基盤モデル表現を補完できるかどうかを検討する。 我々は、凍結したDINOv2をビジュアルエンコーダとして使用し、クリーンな視覚状態から極端な視覚状態まで、制御された5レベルベンチマークを構築した。 本手法は, 可視およびソナーエンコーダの凍結を保ちながら, 完全な劣化範囲にわたって融合機構を訓練することにより, 予め訓練した背骨を微調整することなく, 適応できる。
• 参考スコア（独自算出の注目度）: 3.2150654072618976
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reliable underwater robotic perception remains difficult because optical imagery degrades under turbidity, wavelength-dependent attenuation, low illumination, scattering, and blur. Although sonar provides complementary information that is less affected by optical visibility, prior visual-sonar research has largely focused on feature alignment and nominal detection performance. We investigate cross-modal robustness as visual reliability deteriorates and assess whether pretrained visual foundation-model representations can be complemented by sonar under severe degradation. We use frozen DINOv2 as the visual encoder and construct a controlled five-level benchmark ranging from clean to extreme visual conditions. We compare conventional visual detection, frozen foundation-model representations, sonar context, fixed multimodal fusion, clean-trained adaptive gating, and degradation-aware gated fusion. Our method trains the fusion mechanism across the full range of degradation while keeping the visual and sonar encoders frozen, allowing modality contributions to adapt without fine-tuning the pretrained backbone. Under extreme combined degradation, the DINOv2 baseline achieves 0.4610 balanced accuracy, while degradation-aware visual-sonar fusion reaches 0.6152, a 33.5% relative improvement. The learned sonar contribution increases from 14.2% under clean conditions to 41.3% under extreme degradation, demonstrating adaptive redistribution of cross-modal reliance. Fusion provides the largest gains under severe turbidity and blur, whereas color attenuation alone yields little additional benefit. These results show that foundation-model representations remain valuable but insufficient under severe information loss, and that explicitly adapting fusion to modality reliability can improve robust underwater multimodal perception.
• Abstract（参考訳）: 光学画像は、濁度、波長依存性の減衰、低照度、散乱、ぼかしの下で劣化するため、信頼性の高い水中ロボットの知覚は依然として困難である。 ソナーは光学視認性の影響を受けない相補的な情報を提供するが、従来の視覚ソナー研究は特徴アライメントと名目検出性能に重点を置いてきた。 視覚的信頼性が低下する中で, ソナーにより事前学習した視覚基盤モデル表現を補足できるかどうかを検証した。 我々は、凍結したDINOv2をビジュアルエンコーダとして使用し、クリーンな視覚状態から極端な視覚状態まで、制御された5レベルベンチマークを構築した。 我々は,従来の視覚検出,凍結基礎モデル表現,ソナーコンテキスト,固定多モード融合,クリーントレーニング適応ゲーティング,劣化認識ゲート融合を比較した。 本手法は, 可視およびソナーエンコーダの凍結を保ちながら, 完全な劣化範囲にわたって融合機構を訓練することにより, 予め訓練した背骨を微調整することなく, 適応できる。 極度の複合劣化下では、DINOv2ベースラインは0.4610のバランスの取れた精度を達成し、分解を意識したビジュアルソナー融合は0.6152に達し、相対的な改善は33.5%である。 学習されたソナーの寄与は、清潔な条件下で14.2%から極度の劣化下で41.3%に増加し、相互依存の適応的な再分配を示す。 融合は激しい濁度とぼやけの下で最大の利益をもたらすが、色減衰だけでは追加の利益が得られない。 これらの結果から, 基礎モデル表現は, 深刻な情報損失の下では不十分であり, 高度の水中マルチモーダル知覚を向上する可能性が示唆された。

関連論文リスト

• RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation [23.43264234749439]
  信頼性を考慮したRGB-T有能なオブジェクト検出フレームワークであるRA-SODを提案する。 RA-SODは、モダリティの信頼性を特徴学習とクロスモーダル融合に統合する。 実験により、RA-SODは最先端性能を示し、重度モード劣化下で強靭性を示す。
  論文  参考訳（メタデータ） (2026-09-11T09:22:20Z)
• P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation [73.147281449267]
  我々は、赤外線可視画像融合を再構成する事前誘導蒸留に基づくフレームワークであるP2Fusionを提案する。 ハードコードされたペナルティを課す代わりに、画像固有の先例、熱塩分率、空間的品質を学習可能な動的レギュレータに蒸留する。 P2Fusionは5つのベンチマークで20の主要評価指標のうち14で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-08-13T10:09:49Z)
• Overcoming Attention Drift: Homogeneity-Heterogeneity Guided Feature Aggregation for Low-Light Remote Sensing Image Enhancement [10.412281080988647]
  ノイズや照明の破損により、既存の手法は注意の漂流や構造的ぼやけや色歪みに悩まされる。 本稿では,基礎モデルによって導かれる特徴集約問題として拡張を定式化する,二重優先型拡張フレームワークHALOを提案する。 H2CAMは8つの挑戦的な合成および実世界のリモートセンシングベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-06T10:11:36Z)
• Alignment-Aware and Reliability-Gated Multimodal Fusion for Unmanned Aerial Vehicle Detection Across Heterogeneous Thermal-Visual Sensors [6.686898063543218]
  本研究は,Registration-Aware Guided Image Fusion (RGIF)とReliability-Gated Modality-Attention Fusion (RGMAF)の2つの融合戦略を紹介する。 RGIFは拡張相関係数(ECC)ベースのアフィン登録とガイドフィルターを組み合わせて熱塩分濃度を維持しながら構造的詳細を増強する。 RGMAFは、アフィンと光フローの登録と、熱コントラストと視覚的シャープネスを適応的にバランスさせる信頼性の高い注意機構を統合する。
  論文  参考訳（メタデータ） (2026-03-09T10:39:26Z)
• Boosting Fidelity for Pre-Trained-Diffusion-Based Low-Light Image Enhancement via Condition Refinement [63.54516423266521]
  事前学習拡散ベース(PTDB)法は、しばしばコンテンツ忠実さを犠牲にして知覚的リアリズムを高める。 本稿では,事前学習した拡散モデルにおける条件付けのための新しい最適化手法を提案する。 我々のアプローチはプラグアンドプレイであり、より効率的な制御を提供するために既存の拡散ネットワークにシームレスに統合される。
  論文  参考訳（メタデータ） (2025-10-20T02:40:06Z)
• RoSe: Robust Self-supervised Stereo Matching under Adverse Weather Conditions [58.37558408672509]
  本稿では,ロバストな自己監督型環境対応学習と悪天候蒸留という2つの重要なステップからなる,堅牢な自己監督型訓練パラダイムを提案する。 提案手法の有効性と汎用性を実証し,既存の最先端の自己管理手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-23T15:41:40Z)
• DACA-Net: A Degradation-Aware Conditional Diffusion Network for Underwater Image Enhancement [16.719513778795367]
  水中画像は通常、散乱や吸収といった複雑な光学効果により、激しい色歪み、視界の低さ、構造的明瞭さの低下に悩まされる。 既存の拡張手法は、様々な劣化条件を適応的に扱うのに苦労し、水中固有の物理的前提を効果的に活用できないことが多い。 本研究では,水中画像の適応的・堅牢性を高めるための劣化認識条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-07-30T09:16:07Z)
• Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
  そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。 複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。 実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
  論文  参考訳（メタデータ） (2024-04-15T14:29:47Z)
• PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation [50.556961575275345]
  対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-08T01:55:44Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。