論文の概要: SAREO-FM: Decoupled Semantic Supervision for SAR-EO Foundation Models
- arxiv url: http://arxiv.org/abs/2610.09317v1
- Date: Wed, 07 Oct 2026 02:17:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.680889
- Title: SAREO-FM: Decoupled Semantic Supervision for SAR-EO Foundation Models
- Title(参考訳): SAREO-FM:SAR-EOファンデーションモデルのための分離されたセマンティックスーパービジョン
- Abstract要約: 合成開口レーダ(SAR)と電気光学(EO)画像は相補的な観察を提供する。
SAREO-FMを導入し、1つのトークンストリームが2つの異なる役割を果たさないようにします。
モダリティトークンは、各センサーがマスクされた再構成を通してシーンを観察する方法を保存し、学習可能なセマンティッククエリはシーンが持っているものをキャプチャする。
- 参考スコア(独自算出の注目度): 31.388846490896924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthetic aperture radar (SAR) and electro-optical (EO) imagery provide complementary observations: SAR enables day-and-night, weather-resilient sensing, whereas EO provides rich appearance and fine-grained semantic cues. We introduce SAREO-FM, which avoids forcing a single token stream to serve two distinct roles: modality tokens preserve how each sensor observes the scene through masked reconstruction, while learnable semantic queries capture what the scene contains under guidance from a pretrained vision foundation model (VFM). By jointly encoding these queries with SAR and EO tokens, the queries acquire modality-grounded semantic context, while the modality-token outputs remain the explicit targets of masked reconstruction. This design assigns semantic and reconstruction supervision to separate token streams while preserving their interaction within the shared encoder. Pretrained on the million-scale SAR-1M corpus, SAREO-FM achieves strong unimodal transfer for both SAR-only and EO-only inputs, while delivering substantial gains from joint SAR--EO observations on tasks that benefit from complementary sensing.
- Abstract(参考訳): 合成開口レーダ(SAR)と電気光学(EO)画像は相補的な観察を提供する: SARは昼夜の耐候性センシングを可能にし、EOはリッチな外観ときめ細かいセマンティック・キューを提供する。
そこで我々は,SAREO-FMを導入し,単一のトークンストリームを強制的に2つの異なる役割を果たさないようにした: モダリティトークンは,各センサがマスクされた再構成を通してシーンを観察する方法を保存し,学習可能なセマンティッククエリは,予め訓練された視覚基盤モデル(VFM)からシーンが含むものをキャプチャする。
これらのクエリをSARおよびEOトークンと共同で符号化することにより、モダリティに基づく意味コンテキストを取得し、モダリティに基づく出力はマスクされた再構成の明確なターゲットのままである。
この設計では、トークンストリームの分離にセマンティックと再構築の監督を割り当て、共有エンコーダ内でのインタラクションを保存する。
百万規模のSAR-1Mコーパスで事前訓練されたSAREO-FMは、SARのみの入力とEOのみの入力に対して強い単調移動を達成し、相補的センシングの恩恵を受けるタスクに関する共同SAR-EO観測からかなりの利益を得る。
関連論文リスト
- EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action [65.7650775259592]
視覚言語行動(VLA)ポリシーは意味理解を重視し、世界行動モデル(WAM)は環境力学の予測表現を学習する。
本研究では,アクション中心の統一型エンボディモデルであるEWAMについて述べる。
論文 参考訳(メタデータ) (2026-09-30T15:35:53Z) - 0.5%>100%: Bidirectional Reciprocal Learning for Referring Image Segmentation [60.19375952029603]
$textbfB$idirectional $textbfR$eciprocal $textbfL$は、新しいアダプタベースのPEFTフレームワークである。
Reciprocal Attention Adapter (RAA) はトークンレベルでクロスモーダルなクエリキー交換を行う。
Reciprocal Gate Adapter(RGA)は、チャネルレベルにおいて、クロスモーダルゲーティング信号を生成する。
論文 参考訳(メタデータ) (2026-09-21T12:48:34Z) - ReFlowSET: Representation-Aligned Latent Flow Matching for SAR-to-EO Image Translation [29.763721439976337]
SAR-to-EO画像変換は、合成開口レーダ(SAR)観測から電気光学(EO)画像を生成することを目的としている。
既存の遅延拡散法は、典型的には所定のオートエンコーダを継承するが、再構成の忠実度はコーデックやモダリティによって大きく異なる。
本稿では,共同SAR-EO再構築監査を通じて,その継承を選択する条件付き遅延フローマッチングフレームワークであるReFlowSETを紹介する。
論文 参考訳(メタデータ) (2026-09-01T09:25:43Z) - Prompting Foundation Models for Zero-Shot Ship Instance Segmentation in SAR Imagery [4.3991363299650335]
本稿では,SAR(Synthetic Aperture Radar)画像において,汎用視覚基盤モデルがゼロショット船のインスタンスセグメンテーションを可能にする方法について検討する。
オープンなSARデータセットに基づいてトレーニングされたYOLOv11ベースの検出器は、バウンディングボックスを介して船をローカライズし、Segment Anything Model 2 (SAM2) にインスタンスマスクを生成する。
従来のSAMベースのSARアプローチとは異なり,SAR学習検出器の空間的制約だけで基礎モデル予測を効果的に正則化できることを本手法は示している。
論文 参考訳(メタデータ) (2026-04-20T07:57:11Z) - From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。
本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
論文 参考訳(メタデータ) (2026-03-18T00:22:15Z) - A Tutorial on ALOS2 SAR Utilization: Dataset Preparation, Self-Supervised Pretraining, and Semantic Segmentation [1.4401311275746886]
ALOS-2単チャネルSAR画像に適用したSimMIMの重み付き版であるSAR-W-SimMIMを紹介する。
本手法は,自己指導型事前訓練におけるスペックルと極度強度値の影響を低減することを目的としている。
SAR-W-MixMAEを用いた前回の試行と比較し,セマンティックセグメンテーションへの影響を検討した。
論文 参考訳(メタデータ) (2026-03-16T11:16:03Z) - SARMAE: Masked Autoencoder for SAR Representation Learning [17.36199520462285]
自己教師型SAR表現学習のためのノイズ対応マスク付き自動エンコーダであるSARMAEを提案する。
SARMAEは、SAR固有のスペックルノイズをマスク付きオートエンコーダに注入し、ノイズ認識と堅牢な表現学習を容易にする。
複数のSARデータセットに対する実験は、SARMAEが分類、検出、セグメンテーションタスクにおける最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2025-12-18T15:10:19Z) - Annotation-Free Open-Vocabulary Segmentation for Remote-Sensing Images [51.74614065919118]
本稿では,アノテーションのないRS画像のオープン語彙セグメンテーションのための最初のフレームワークであるSegEarth-OVを紹介する。
粗い特徴から高分解能空間の詳細を頑健に復元する普遍的なアップサンプラーであるSimFeatUpを提案する。
また、パッチ機能から固有のグローバルコンテキストを抽出するための、シンプルで効果的なグローバルバイアス緩和操作も提示する。
論文 参考訳(メタデータ) (2025-08-25T14:22:57Z) - EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM [103.7537991413311]
地球観測(EO)データ分析は、環境と人間の動態のモニタリングに不可欠である。
最近のMultimodal Large Language Models (MLLM) は、EO理解の可能性を秘めているが、シングルセンサー入力に限定されている。
我々は、シングルセンサーとクロスセンサーの両方の入力を処理する統合視覚言語フレームワークであるEarthMindを提案する。
論文 参考訳(メタデータ) (2025-06-02T13:36:05Z) - Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。
MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。
我々のフレームワークは、残響器と残響器の性能を向上させることができる。
論文 参考訳(メタデータ) (2024-07-15T00:47:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。