論文の概要: More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe
- arxiv url: http://arxiv.org/abs/2607.15942v1
- Date: Fri, 17 Jul 2026 13:25:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.854818
- Title: More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe
- Title(参考訳): 詳細: 簡単なレシピ付き大規模リモートセンシングVLM
- Abstract要約: 遠隔センシングベンチマークに挑戦することで,視覚言語モデルが競争力や最先端のパフォーマンスを達成可能であることを示す。
我々のモデルは、テキストで直接答えるか、セグメント化とグラウンド化のためにローカライズツールを呼び出すことができる単一の言語ポリシーを使用する。
提案手法は,高分解能,マルチテンポラル,マルチモーダル,マルチビュータスクを含む,幅広いベンチマークの競合性を実現する。
- 参考スコア(独自算出の注目度): 52.210953881548996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing vision-language models are increasingly expected to support open-ended reasoning over Earth Observation data and a variety of tasks. Most recent progress in this area has been driven by remote-sensing-specific architectural designs, often introducing new encoders, alignment modules, or task-specific fusion mechanisms. In this work, we challenge the necessity of such architectural specialization. We show that a generally capable vision-language model can achieve competitive or state-of-the-art performance at challenging remote sensing benchmarks, provided that it is trained at sufficient scale across diverse data and tasks. Our model uses a single language policy that can either answer directly in text or invoke a localization tool for segmentation and grounding. To train this heterogeneous behaviour, we employ a multi-task reinforcement learning framework with adaptive task rewards covering multiple-choice VQA, free-form VQA, captioning, detection, and segmentation across a large variety of input types. Our approach achieves competitive results across a broad set of benchmarks, including high-resolution, multi-temporal, multi-modal and multi-view tasks. Further, as training data scales, our experiments show consistent improvements across most tasks both in and out of distribution, which correlate with per-task data diversity. These findings suggest that, for remote sensing VLMs, data scale is more important than architectural novelty.
- Abstract(参考訳): リモートセンシングビジョン言語モデルは、地球観測データや様々なタスクに対するオープンエンド推論をサポートすることがますます期待されている。
この領域の最近の進歩はリモートセンシング特有のアーキテクチャ設計によって推進され、しばしば新しいエンコーダ、アライメントモジュール、タスク固有の融合機構が導入されている。
本稿では,このようなアーキテクチャの専門化の必要性に挑戦する。
汎用的な視覚言語モデルは、多様なデータやタスクにわたって十分な規模で訓練されていることを前提として、リモートセンシングベンチマークの挑戦において、競争力や最先端のパフォーマンスを達成することができることを示す。
我々のモデルは、テキストで直接答えるか、セグメント化とグラウンド化のためにローカライズツールを呼び出すことができる単一の言語ポリシーを使用する。
この不均一な振る舞いを学習するために,多目的VQA,自由形式VQA,キャプション,検出,セグメンテーションを多種多様な入力タイプでカバーするマルチタスク強化学習フレームワークを用いる。
提案手法は,高分解能,マルチテンポラル,マルチモーダル,マルチビュータスクを含む,幅広いベンチマークの競合性を実現する。
さらに、トレーニングデータスケールが大きくなるにつれて、我々の実験は、タスクごとのデータ多様性と相関する分布内と外の両方で、ほとんどのタスクにおいて一貫した改善を示す。
これらの結果は、リモートセンシングVLMでは、データスケールがアーキテクチャの新規性よりも重要であることを示唆している。
関連論文リスト
- An Efficient and Effective Encoder Model for Vision and Language Tasks in the Remote Sensing Domain [15.126182274242375]
大規模ビジョンと言語モデル(LVLM)は、コンピュータビジョンと自然言語処理の交差点における複数のタスクに対処することができる。
LVLMの使用とトレーニングのコストは、パラメータの多さから高い。
本稿では,パラメータ数を抑えながら,マルチタスク学習を効果的に処理できるモデルを提案する。
論文 参考訳(メタデータ) (2025-12-17T15:33:48Z) - Co-Training Vision Language Models for Remote Sensing Multi-task Learning [68.15604397741753]
視覚言語モデル(VLM)は、RS画像理解、グラウンド化、超高解像度(UHR)画像推論において有望な結果を得た。
本稿では,RSMTLのための簡易かつ柔軟なVLMベースラインであるRSCoVLMを提案する。
本稿では、RS画像に固有の多様な画像スケールに対処する、統一された動的解像度戦略を提案する。
論文 参考訳(メタデータ) (2025-11-26T10:55:07Z) - How Can Multimodal Remote Sensing Datasets Transform Classification via SpatialNet-ViT? [4.148953499574201]
視覚変換器(ViT)とマルチタスク学習(MTL)の力を利用する新しいモデルであるSpatialNet-ViTを提案する。
この統合されたアプローチは、空間認識と文脈理解を組み合わせることで、分類精度と拡張性の両方を改善します。
論文 参考訳(メタデータ) (2025-06-25T10:50:33Z) - A Survey on Remote Sensing Foundation Models: From Vision to Multimodality [35.532200523631765]
リモートセンシングのための視覚とマルチモーダル基礎モデルは、インテリジェントな地理空間データ解釈能力を大幅に向上させた。
データタイプの多様性、大規模アノテートデータセットの必要性、マルチモーダル融合技術の複雑さは、これらのモデルの効果的なデプロイに重大な障害をもたらす。
本稿では、リモートセンシングのための最先端のビジョンモデルとマルチモーダル基礎モデルについて、アーキテクチャ、トレーニング方法、データセット、アプリケーションシナリオに焦点をあててレビューする。
論文 参考訳(メタデータ) (2025-03-28T01:57:35Z) - SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [79.58755811919366]
本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。
水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。
この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
論文 参考訳(メタデータ) (2024-12-30T02:47:51Z) - Survey of Large Multimodal Model Datasets, Application Categories and Taxonomy [2.294223504228228]
人工知能の急速に発展する分野であるマルチモーダル学習は、より汎用的で堅牢なシステムの構築を目指している。
多くの感覚を通じて情報を同化する人間の能力に触発され、テキストからビデオへの変換、視覚的質問応答、画像キャプションなどの応用が可能となる。
マルチモーダル言語モデル(MLLM)をサポートするデータセットの最近の発展について概説する。
論文 参考訳(メタデータ) (2024-12-23T18:15:19Z) - A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。
我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。
結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2024-07-23T11:14:54Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - General Object Foundation Model for Images and Videos at Scale [99.2806103051613]
本稿では,画像やビデオ中の物体の位置と識別のためのオブジェクトレベルの基礎モデルであるGLEEを提案する。
GLEEは、オープンワールドシナリオにおける任意のオブジェクトの検出、セグメンテーション、トラッキング、グラウンド、識別を達成する。
画像エンコーダ,テキストエンコーダ,視覚プロンプトを用いて複数モーダル入力を処理し,様々なオブジェクト中心の下流タスクを同時に解決する。
論文 参考訳(メタデータ) (2023-12-14T17:26:00Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳(メタデータ) (2023-06-29T17:59:57Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳(メタデータ) (2022-03-02T18:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。