論文の概要: SonarLLM: A Native Sonar--Optical Multimodal Large Language Model for Underwater Perception

• arxiv url: http://arxiv.org/abs/2608.24325v1
• Date: Tue, 25 Aug 2026 09:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.92621
• Title: SonarLLM: A Native Sonar--Optical Multimodal Large Language Model for Underwater Perception
• Title（参考訳）: SonarLLM:水中知覚のためのネイティブソナー-オプティカルマルチモーダル大言語モデル
• Abstract要約: 既存のMLLMは、主に光エンコーダ上に構築されており、ソナーのモデルには不向きである。 本稿では,ソナーを知覚モダリティとして扱うソナー光学MLLMのSonarLLMを提案する。
• 参考スコア（独自算出の注目度）: 16.475623880100155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable underwater perception requires complementary sensing under variable visibility. Optical cameras capture appearance and semantics but degrade rapidly with turbidity, whereas imaging sonar preserves geometry while exhibiting distinct range-azimuth structure and acoustic artifacts. Existing MLLMs, built primarily on optical encoders, are therefore ill-suited to model sonar or adaptively exploit sonar-optical complementarity. We propose SonarLLM, a sonar-optical MLLM that treats sonar as a native perceptual modality. It combines a sonar-specific encoder, modality-specific physics-aware feature enhancement, and reliability-aware hierarchical fusion to align acoustic structure with optical semantics and dynamically adjust their contributions as sensing quality changes. We also introduce SonarBench, a paired benchmark that spans four tasks: recognition, counting, visual question answering, and captioning; and, across the benchmark, three input settings: sonar-only, optical-only, and fusion. By fixing the scene and sonar observation while varying optical degradation, SonarBench enables controlled measurement of cross-modal complementarity. SonarLLM achieves 72.0% macro accuracy across sonar-only recognition, counting, and VQA, outperforming the strongest baseline by 34.4 percentage points, and 68.7% under fusion, exceeding the best baseline by 25.1 points. For recognition and counting, the fusion-over-optical gain grows from 6.0 to 36.0 points as turbidity increases, indicating the increasing complementary value of sonar under controlled optical degradation. Together, these results show that robust heterogeneous perception depends not only on adding sonar, but on representing and weighting it according to its sensing characteristics.
• Abstract（参考訳）: 信頼性の高い水中知覚には、様々な視認性の下で補完的な感覚が必要である。 光カメラは外観やセマンティクスをとらえるが、濁度で急速に劣化する一方、ソナーは異なる射程方位構造と音響的アーティファクトを呈し、幾何学を保っている。 既存のMLLMは、主に光学エンコーダ上に構築されており、ソナーをモデル化したり、適応的にソナーと光学の相補性を利用するのに不適である。 本稿では,ソナーを知覚モダリティとして扱うソナー光学MLLMのSonarLLMを提案する。 ソナー固有のエンコーダ、モダリティ固有の物理認識機能強化、および信頼性に配慮した階層的融合を組み合わせることで、音響構造を光学的意味論と整合させ、その寄与を知覚品質の変化として動的に調整する。 SonarBenchは、認識、カウント、視覚的質問応答、キャプションの4つのタスクにまたがるベンチマークである。 光学劣化の異なるシーンとソナー観測を固定することにより、ソナーベンチはモード間相補性の測定を制御できる。 SonarLLMはソナーのみの認識、カウント、VQAで72.0%のマクロ精度を達成し、最強のベースラインを34.4ポイント、68.7%を融合で上回り、最高ベースラインを25.1ポイント上回っている。 認識と計数のために、核融合による利得は、濁度の増加に伴って6.0から36.0ポイントに増加し、制御された光学劣化下でのソナーの相補的な値の増加を示す。 これらの結果から,ロバストな異種知覚はソナーを付加するだけでなく,その知覚特性に応じてそれを表現および重み付けすることに依存することが示された。

関連論文リスト

• Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
  SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。 エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
  論文  参考訳（メタデータ） (2026-08-29T09:58:24Z)
• Geometry-Driven Opti-Acoustic Co-Registration and View-Invariant Reflectivity Mapping for Side-Scan Sonar [0.0]
  サイドスキャン・ソナー (SSS) は大規模な水中マッピングにおける主要なモダリティである。 従来のディスクリプタは、光学画像と音響画像の間の物理的な領域ギャップを埋めることに失敗した。 画素レベルのオプティア音響共振器とビュー不変反射率マッピングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-24T16:44:46Z)
• BenthicDINO: Physics-Informed Self-Distillation for View-Invariant Side-Scan Sonar Representations [0.0]
  本稿では,データ効率を最大化するために,ConvNeXt-v2-Tinyバックボーンを用いてDINOv3アーキテクチャ上に構築した物理インフォームド自己蒸留フレームワークを提案する。 本研究では,4つのネットワークステージにまたがる,密集した階層的特徴融合戦略を提案する。
  論文  参考訳（メタデータ） (2026-08-24T13:11:22Z)
• UniV2D: Bridging Visual Restoration and Semantic Perception for Underwater Salient Object Detection [71.83097731030254]
  視覚的回復と有能な物体検出を協調的に最適化するUnified Vision-to-Detection Network (UniV2D)を提案する。 UniV2Dは、セマンティック駆動学習パラダイムを導入している。 定量評価と定性評価の両方において最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2026-05-08T02:31:45Z)
• Towards Versatile Opti-Acoustic Sensor Fusion and Volumetric Mapping [2.064612766965483]
  自動水中車両にはボリュームマッピングが不可欠である。 視覚に基づく知覚は高解像度のデータを提供するが、濁った状況では失敗する。 ソナーは光と濁りに強いが 解像度が低く 高さの曖昧さに悩まされている 本稿では,ステレオソナー対とモノクラーカメラを融合させて,様々な視認性条件下での安全なナビゲーションを実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-15T16:06:28Z)
• Sonar-MASt3R: Real-Time Opti-Acoustic Fusion in Turbid, Unstructured Environments [0.8594140167290097]
  本稿では,光学カメラデータから高密度対応をリアルタイムで抽出するオプティア音響融合法Sonar-MASt3Rを提案する。 本手法は, 振動条件下でのロバスト性を確保するため, 音響3次元再構成による幾何学的手がかりと組み合わせる。
  論文  参考訳（メタデータ） (2026-03-13T20:51:11Z)
• Guidestar-Free Adaptive Optics with Asymmetric Apertures [28.526322406353852]
  本研究は、ガイドスターや波面センサを使わずにリアルタイムに収差を光学的に補正できる最初の閉ループ適応光学(AO)システムを導入する。 これらの研究に触発されて、非対称開口と機械学習を中心に構築されたガイドスターフリーのAOフレームワークを紹介した。
  論文  参考訳（メタデータ） (2026-02-02T22:52:42Z)
• The Prism Hypothesis: Harmonizing Semantic and Pixel Representations via Unified Autoencoding [82.53463660564933]
  セマンティックエンコーダは、主に抽象的意味を符号化する低周波成分をキャプチャするが、ピクセルエンコーダは微細な詳細を伝達する高周波情報を保持する。 本稿では,新しい周波数帯域変調器を用いて意味構造と画素の詳細を調和させるモデルであるUnified Autoencoding (UAE)を提案する。
  論文  参考訳（メタデータ） (2025-12-22T18:59:57Z)
• Accelerating 3D Photoacoustic Computed Tomography with End-to-End Physics-Aware Neural Operators [74.65171736966131]
  光音響計算トモグラフィ(PACT)は、光コントラストと超音波分解能を組み合わせることで、光拡散限界を超える深部像を実現する。 現在の実装では、高密度トランスデューサアレイと長い取得時間を必要とし、臨床翻訳を制限している。 本研究では,センサ計測からボリューム再構成まで,逆音響マッピングを直接学習する物理認識モデルであるPanoを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T23:12:55Z)
• Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
  本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-11-06T03:30:46Z)
• Hierarchical Feature Alignment Network for Unsupervised Video Object Segmentation [99.70336991366403]
  外観・動作特徴アライメントのための簡潔で実用的で効率的なアーキテクチャを提案する。 提案されたHFANはDAVIS-16の最先端性能に到達し、88.7ドルのmathcalJ&mathcalF$Meanを達成した。
  論文  参考訳（メタデータ） (2022-07-18T10:10:14Z)
• DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
  DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。 アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。 DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-28T16:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。