論文の概要: Lightweight Adaptation of General-Purpose VLMs for Multispectral and SAR Image Understanding

• arxiv url: http://arxiv.org/abs/2609.02187v1
• Date: Wed, 02 Sep 2026 06:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.125057
• Title: Lightweight Adaptation of General-Purpose VLMs for Multispectral and SAR Image Understanding
• Title（参考訳）: 多スペクトル・SAR画像理解のための汎用VLMの軽量適応
• Abstract要約: 汎用視覚言語モデル(VLM)は、強力な視覚認識、命令追従、生成をサポートする。 汎用VLMのマルチイメージインタフェースは軽量な代替手段であることを示す。 提案プロトコルでは、各観測を5つの光学ビューと1つのSARビューとしてレンダリングし、それらをプロンプトに指定し、言語ネットワークと選択された視覚トランスフォーマーブロックをLoRAで適応させる。
• 参考スコア（独自算出の注目度）: 6.5925157105434105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: General-purpose vision-language models (VLMs) now support strong visual recognition, instruction following, and generation. However, most pretrained visual encoders are built around three-channel natural images and do not directly accommodate observations such as native multispectral measurements or synthetic aperture radar (SAR). Adapting VLMs to these sensors typically requires dedicated encoders and domain pretraining, slowing the reuse of stronger general-purpose checkpoints. We show that the multi-image interface of general-purpose VLMs offers a lightweight alternative. Our protocol renders each observation as five optical views and one SAR view, names them in the prompt, and adapts the language network and selected visual transformer blocks with LoRA. This exposes band composites, spectral indices, and radar backscatter through an existing visual interface. For land-cover recognition, structured supervision couples predicted classes with sensor evidence. We further construct preference pairs in which a true label is omitted while its supporting evidence is retained, encouraging complete predictions that remain consistent with the observations. On a balanced six-class land-cover benchmark derived from BigEarthNet-v2, the adapted Qwen3-VL reaches 0.8275 micro F1. The same input and adaptation protocol improves all four tested VLM architectures and transfers to Sen1Floods11 flood verification and BigEarthNet.txt captioning. Image removal and mismatch controls show that the adapted models use the supplied sensor observations. Together, these results demonstrate that VLMs can be repurposed for multispectral and SAR tasks through rendered inputs and compact LoRA adaptation, without training a new foundation model.
• Abstract（参考訳）: 汎用視覚言語モデル(VLM)は、強力な視覚認識、命令追従、生成をサポートする。 しかし、事前訓練されたほとんどのビジュアルエンコーダは3チャンネルの自然画像を中心に構築されており、ネイティブマルチスペクトル測定や合成開口レーダ(SAR)のような観測を直接は対応していない。 これらのセンサーにVLMを適用するには、通常は専用のエンコーダとドメイン事前訓練が必要であり、より強力な汎用的なチェックポイントの再利用を遅らせる。 汎用VLMのマルチイメージインタフェースは軽量な代替手段であることを示す。 提案プロトコルでは、各観測を5つの光学ビューと1つのSARビューとしてレンダリングし、それらをプロンプトに指定し、言語ネットワークと選択された視覚トランスフォーマーブロックをLoRAで適応させる。 これは既存のビジュアルインターフェースを通じて、バンドコンポジット、スペクトル指標、レーダー後方散乱を露呈する。 土地被覆認識のために、構造化された監督のカップルは、センサーの証拠のあるクラスを予測した。 さらに、真のラベルが省略され、その支持された証拠が保持され、観測と整合した完全な予測を奨励する選好ペアを構築した。 BigEarthNet-v2から得られたバランスのとれた6クラスの土地被覆ベンチマークでは、適応されたQwen3-VLは0.8275マイクロF1に達する。 同じ入力および適応プロトコルは、テストされた4つのVLMアーキテクチャを改善し、Sen1Floods11のフラッド検証とBigEarthNet.txtキャプションに転送する。 画像除去とミスマッチ制御は、適応されたモデルが供給されたセンサ観測を使用することを示す。 これらの結果から、VLMは、新しい基礎モデルを訓練することなく、描画入力とコンパクトなLoRA適応により、マルチスペクトルおよびSARタスクに再利用可能であることが示された。

関連論文リスト

• HAFI-VLM: A Frequency Perspective for Diagnosing and Enhancing Visual Perception in Vision-Language Models [9.926121668688772]
  視覚言語モデル(VLM)は、予測がきめ細かい視覚的証拠を必要とする場合、信頼性が低いままである。 これまでに見過ごされた原因は、スペクトル応答剛性である。 本稿では,事前学習した意味表現を保存しながらタスク条件付き周波数経路を導入するHAFI-VLMを提案する。
  論文  参考訳（メタデータ） (2026-08-03T12:15:33Z)
• RADIO1D: Elastic Representations for Condensed Vision Modeling [69.84453279129937]
  本稿では,視覚言語モデル (VLM) が固定パッチベースの2次元視覚機能を必要とするという仮定に挑戦する。 RADIO1Dは,マルチ教師の知識蒸留とオートエンコーダ設計を用いて,画像をコンパクトで可変長の1Dトークンシーケンスに圧縮する。 結果として得られた表現は、強い階層的な要約を示し、1つのトークンでも正確なシーン理解を可能にし、合成認識画像検索の改善をサポートする。
  論文  参考訳（メタデータ） (2026-07-03T22:58:54Z)
• FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales [65.4821703903285]
  FLOROは、小さなが高度に多様なリモートセンシングコーパスから転送可能な表現を学習するために設計されたマルチモーダル基礎モデルである。 FLOROは、Sentinel-1、Sentinel-2、SkySAT画像、標高、UAV由来のデータとの不均一な組み合わせによるマスク付きオートエンコーディングを用いて事前訓練される。 我々は、シーン分類、セグメンテーション、回帰タスクにまたがる凍結エンコーダプロトコルを用いて、PANGAEAベンチマーク上でFLOROを評価した。
  論文  参考訳（メタデータ） (2026-05-27T08:55:54Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
  組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。 ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
  論文  参考訳（メタデータ） (2026-04-22T08:16:50Z)
• Multi-Modal Landslide Detection from Sentinel-1 SAR and Sentinel-2 Optical Imagery Using Multi-Encoder Vision Transformers and Ensemble Learning [0.0]
  地すべりは、人間の生活、インフラ、生態系に深刻な影響を与えている主要なジオハザードである。 本研究では、Sentinel-1 Synthetic Aperture Radar(SAR)データとSentinel-2光画像を融合したモジュラー・マルチモデルフレームワークを提案する。 提案手法は地すべり検出における最先端F1スコア0.919を達成する。
  論文  参考訳（メタデータ） (2026-04-07T14:51:05Z)
• CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning [79.07656918674684]
  CoME-VLは、対照的に訓練された視覚エンコーダと自己教師型DINOエンコーダを統合するモジュラーフュージョンフレームワークである。 提案手法は,RefCOCOのベースライン上での精度を高いマージンで向上させながら,検出のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-03T17:59:51Z)
• RT-VLM: Re-Thinking Vision Language Model with 4-Clues for Real-World Object Recognition Robustness [2.9979091009694088]
  現実世界のデプロイメントは、しばしば、最新のオブジェクト認識モデルをドメインシフトに公開し、精度を著しく低下させる。 この劣化を軽減するため、我々はRT-VLM(Re-Thinking Vision Language Model)フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-09-01T02:13:00Z)
• OVLW-DETR: Open-Vocabulary Light-Weighted Detection Transformer [63.141027246418]
  本稿では,OVLW-DETR(Open-Vocabulary Light-Weighted Detection Transformer)を提案する。 本稿では,視覚言語モデル(VLM)からオブジェクト検出器への知識伝達を簡易なアライメントで行うエンド・ツー・エンドのトレーニングレシピを提案する。 実験により,提案手法は標準ゼロショットLVISベンチマークにおいて,既存の実時間開語彙検出器よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-15T12:15:27Z)
• CVTNet: A Cross-View Transformer Network for Place Recognition Using LiDAR Data [15.144590078316252]
  本稿では,LIDARデータから発生する範囲画像ビュー(RIV)と鳥眼ビュー(BEV)を融合させる,BITNetと呼ばれるクロスビュートランスフォーマーベースのネットワークを提案する。 センサの設定や環境条件の異なる3つのデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-02-03T11:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。