論文の概要: Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining
- arxiv url: http://arxiv.org/abs/2603.01758v1
- Date: Mon, 02 Mar 2026 11:38:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.84337
- Title: Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining
- Title（参考訳）: 言語による事前学習による不均一なマルチモーダルリモートセンシング検出
- Abstract要約: 不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
- 参考スコア（独自算出の注目度）: 59.2578488860426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous multi-modal remote sensing object detection aims to accurately detect objects from diverse sensors (e.g., RGB, SAR, Infrared). Existing approaches largely adopt a late alignment paradigm, in which modality alignment and task-specific optimization are entangled during downstream fine-tuning. This tight coupling complicates optimization and often results in unstable training and suboptimal generalization. To address these limitations, we propose BabelRS, a unified language-pivoted pretraining framework that explicitly decouples modality alignment from downstream task learning. BabelRS comprises two key components: Concept-Shared Instruction Aligning (CSIA) and Layerwise Visual-Semantic Annealing (LVSA). CSIA aligns each sensor modality to a shared set of linguistic concepts, using language as a semantic pivot to bridge heterogeneous visual representations. To further mitigate the granularity mismatch between high-level language representations and dense detection objectives, LVSA progressively aggregates multi-scale visual features to provide fine-grained semantic guidance. Extensive experiments demonstrate that BabelRS stabilizes training and consistently outperforms state-of-the-art methods without bells and whistles. Code: https://github.com/zcablii/SM3Det.
- Abstract（参考訳）: 不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサー(例えば、RGB、SAR、赤外線)からオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
この密結合は最適化を複雑にし、しばしば不安定なトレーニングと準最適一般化をもたらす。
これらの制約に対処するために,下流のタスク学習からモダリティアライメントを明確に分離する,統一言語による事前学習フレームワークであるBabelRSを提案する。
BabelRSは、概念共有インストラクションアライニング(CSIA)とレイヤワイドビジュアルセマンティックアナリング(LVSA)の2つの重要なコンポーネントで構成されている。
CSIAは、各センサのモダリティを言語概念の共有セットに整合させ、異種視覚表現をブリッジするための意味的ピボットとして言語を使用する。
高レベル言語表現と高密度検出目的との粒度ミスマッチを緩和するため、LVSAは段階的に多スケールの視覚的特徴を集約し、微粒なセマンティックガイダンスを提供する。
大規模な実験により、BabelRSは訓練を安定させ、鐘や笛を使わずに最先端の手法を一貫して上回ることを示した。
コード:https://github.com/zcablii/SM3Det.com
関連論文リスト
- Adapting Dense Vision-Language Relationships for Multi-label Classification with Partial Label [14.831970802563717]
言語駆動型Dense Semantic Adaptor (LDSA) を提案する。
提案するモジュールの協調学習により,提案するLDSAが,パブリックなマルチラベル分類ベンチマーク上で新たな技術を実現することを示す実験結果を得た。
論文 参考訳（メタデータ） (2026-08-23T09:20:30Z) - The Universal Language of CSI:Unifying Wireless Sensing Across Devices and Environments [18.372157907342817]
Channel State Informationに基づくWiFiセンシングは、ユビキタスでデバイスなしの知覚を約束する。
現在の研究は、孤立したサイロに分解されたバベルの塔に閉じ込められている。
本稿では,CSIを学習可能な普遍文法を持つ構造化言語として扱う基盤モデルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-30T04:30:04Z) - ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳（メタデータ） (2026-06-27T13:50:39Z) - ProVG: Progressive Visual Grounding via Language Decoupling for Remote Sensing Imagery [20.725910735285762]
リモートセンシングビジュアルグラウンドティングは、自然言語表現によるリモートセンシング画像中のオブジェクトのローカライズを目的としている。
言語表現をグローバルな文脈,空間関係,オブジェクト属性に分解することで,局所化の精度を向上させる新しいRSVGフレームワークである textbfProVG を提案する。
ProVGは既存のメソッドを一貫して上回り、新しい最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-04-02T10:59:19Z) - ConInfer: Context-Aware Inference for Training-Free Open-Vocabulary Remote Sensing Segmentation [12.428190609914594]
リモートセンシング画像におけるカテゴリに依存しない意味理解を実現するための,訓練不要なオープン語彙リモートセンシングセグメンテーション (OVRSS) が,有望なパラダイムとして登場した。
我々は,複数の空間単位をまたいだ共同予測を行う,OVRSSのコンテキスト認識推論フレームワークであるConInferを提案する。
本手法は,複雑なリモートセンシング環境におけるセグメンテーションの整合性,堅牢性,一般化を著しく向上させる。
論文 参考訳（メタデータ） (2026-03-31T05:12:02Z) - PCA-Seg: Revisiting Cost Aggregation for Open-Vocabulary Semantic and Part Segmentation [58.1914505657064]
本稿では,クラスレベルのセマンティクスと空間コンテキスト間の知識干渉の課題を軽減するために,単純な並列コストアグリゲーション(PCA-Seg)パラダイムを提案する。
8つのベンチマークの実験では、PCA-Segの各並列ブロックは0.35万のパラメータしか追加せず、最先端のOSPS性能を実現している。
論文 参考訳（メタデータ） (2026-03-18T09:26:43Z) - GeoAlignCLIP: Enhancing Fine-Grained Vision-Language Alignment in Remote Sensing via Multi-Granular Consistency Learning [8.819428500071007]
視覚言語事前学習モデルは、自然言語によるリモートセンシング画像のブリッジにおいて大きな進歩を遂げている。
リモートセンシングタスクにおける微粒なアライメントを実現する統合フレームワークGeoAlignCLIPを提案する。
RSFG-100kはシーン記述、地域レベルのアノテーション、難易度の高いサンプルを含む微粒なリモートセンシングデータセットである。
論文 参考訳（メタデータ） (2026-03-10T12:12:11Z) - Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。
2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。
本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-16T19:01:31Z) - MMLGNet: Cross-Modal Alignment of Remote Sensing Data using CLIP [21.89022894877594]
異種リモートセンシングと自然言語のセマンティクスを協調する新しいフレームワークMMLGNetを提案する。
CLIPのトレーニングパラダイムにインスパイアされた我々のアプローチは、高次元リモートセンシングデータと言語誘導解釈のギャップを埋める。
論文 参考訳（メタデータ） (2026-01-13T10:44:37Z) - Few-Shot Remote Sensing Image Scene Classification with CLIP and Prompt Learning [0.9558392439655014]
我々は,数ショットのリモートセンシング画像シーン分類のための軽量かつ効率的な適応戦略として,即時学習を探求する。
これらのプロンプト学習手法を,手作りプロンプトを用いたゼロショットCLIPと,凍結したCLIPの特徴を訓練した線形プローブの2つの標準ベースラインに対してベンチマークした。
我々の研究結果は、衛星画像と空中画像の領域ギャップを埋めるスケーラブルで効率的な方法として、迅速な学習を裏付けている。
論文 参考訳（メタデータ） (2025-10-28T11:39:22Z) - A Multimodal Depth-Aware Method For Embodied Reference Understanding [56.30142869506262]
Embodied Reference Understandingでは、言語命令とポインティングキューの両方に基づいて、視覚的なシーンで対象のオブジェクトを識別する必要がある。
本稿では,データ拡張,深度マップのモダリティ,深度認識決定モジュールを共同で活用する新しいERUフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-09T14:32:21Z) - Bilateral Collaboration with Large Vision-Language Models for Open Vocabulary Human-Object Interaction Detection [29.24483392547041]
オープン・ボキャブラリ・ヒューマン・オブジェクト・インタラクション(HOI)検出は、画像に対するすべての人間、動詞、オブジェクト>三つ子を検知する難しいタスクである。
既存のアプローチは通常、大きなビジョンランゲージモデル(VLM)によって生成される出力機能に依存している。
オープン語彙HOI検出のためのバイラテラル協調フレームワーク(BC-HOI)を提案する。
論文 参考訳（メタデータ） (2025-07-09T03:16:39Z) - AeroLite: Tag-Guided Lightweight Generation of Aerial Image Captions [5.67477841586604]
textbfAeroLiteは、リモートセンシング画像のためのタグ付きキャプションフレームワークである。
textbfAeroLiteはGPT-4oを利用して、大規模で意味的にリッチな擬似カプセルデータセットを生成する。
本稿では,視覚的埋め込みにセマンティックタグをアライメントする,新しい多層パーセプトロン(MLP)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-04-13T11:29:31Z) - Large Language Model Guided Progressive Feature Alignment for Multimodal UAV Object Detection [21.16636753446158]
既存のUAVオブジェクト検出手法は、しばしばモダリティ間の意味的ギャップの影響を見落としている。
本稿では,LPANet と呼ばれる,Large Language Model (LLM) ガイド付きプログレッシブ機能アライメントネットワークを提案する。
提案手法は,最先端のマルチモーダルUAVオブジェクト検出器よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-03-10T05:53:30Z) - Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。
本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。
IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-24T09:09:20Z) - Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。
GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。
本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-21T11:59:36Z) - ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。
ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
論文 参考訳（メタデータ） (2023-07-23T15:17:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。