論文の概要: Enhancing Remote Sensing Vision-Language Models Through MLLM and LLM-Based High-Quality Image-Text Dataset Generation

• arxiv url: http://arxiv.org/abs/2507.16716v1
• Date: Tue, 22 Jul 2025 15:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:14.193962
• Title: Enhancing Remote Sensing Vision-Language Models Through MLLM and LLM-Based High-Quality Image-Text Dataset Generation
• Title（参考訳）: MLLMとLCMに基づく高画質画像テキスト生成によるリモートセンシングビジョンランゲージモデルの構築
• Authors: Yiguo He, Junjie Zhu, Yiying Li, Xiaoyu Zhang, Chunping Qiu, Jun Wang, Qiangjuan Huang, Ke Yang,
• Abstract要約: 重要な課題は、高品質で大規模な画像テキストペアリングトレーニングデータの不足にある。 RS画像の高品質なテキストキャプションを生成するために,MpGIという2段階の手法を提案する。 識別モデルであるCLIPと、画像からテキストへの生成モデルであるCoCaという2つのVLFMをデータセットを用いて微調整した。
• 参考スコア（独自算出の注目度）: 21.62138893025555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The application of Vision-language foundation models (VLFMs) to remote sensing (RS) imagery has garnered significant attention due to their superior capability in various downstream tasks. A key challenge lies in the scarcity of high-quality, large-scale, image-text paired training data. Recently, several works introduced extensive image-text datasets for RS and trained their VLFMs. However, due to the rudimentary methods used for generating captions, the quality of datasets is suboptimal, requiring larger volumes of training data, while only yielding modest performance improvements. In this paper, we propose a two-stage method named MpGI(Multi-Perspective Generation and Integration) for generating high-quality text captions for RS images. Firstly, we generate distinct and detailed descriptions from different perspectives using Rule-MLLM(Multimodal Large Language Model) Relay Generation and MLLMs generation methods. Next, we utilize Large Language Models (LLMs) to integrate these diverse descriptions into comprehensive captions, capturing details from multiple perspectives. Finally, we have created the HQRS-IT-210K dataset, including about 210,000 RS images and 1.3 million captions. We fine-tuned two VLFMs using our dataset: CLIP, a discriminative model, and CoCa, an image-to-text generative model. This process resulted in our proposed HQRS-CLIP and RS-CoCa models. Experimental results demonstrate that HQRS-CLIP surpassed the previous SOTA RS CLIP model in various downstream tasks while using only 4.2\% of the training data. RS-CoCa outperforms other advanced approaches across benchmark datasets and can generate captions for RS images that rival or even exceed manual annotations. Dataset, pre-trained models, and codes will be released at https://github.com/YiguoHe/HQRS-210K-and-HQRS-CLIP.
• Abstract（参考訳）: リモートセンシング(RS)画像への視覚言語基礎モデル(VLFMs)の適用は、様々な下流タスクにおける優れた機能のために、大きな注目を集めている。 重要な課題は、高品質で大規模な画像テキストペアリングトレーニングデータの不足にある。 最近、いくつかの研究がRSのための広範な画像テキストデータセットを導入し、VLFMを訓練した。 しかし、キャプションを生成するための初歩的な方法のため、データセットの品質は最適以下であり、トレーニングデータの量を大きくし、パフォーマンスはわずかに改善されている。 本稿では,RS画像の高品質な字幕を生成するための2段階MpGI(Multi-Perspective Generation and Integration)を提案する。 まず,ルールMLLM (Multimodal Large Language Model) Relay Generation とMLLMs Generation を用いて,異なる視点から個別かつ詳細な記述を生成する。 次に、Large Language Models (LLM) を用いて、これらの多様な記述を包括的キャプションに統合し、複数の視点から詳細をキャプチャする。 最後に、HQRS-IT-210Kデータセットを作成しました。 識別モデルであるCLIPと、画像からテキストへの生成モデルであるCoCaという2つのVLFMをデータセットを用いて微調整した。 その結果,HQRS-CLIPモデルとRS-CoCaモデルが得られた。 実験の結果,HQRS-CLIPはトレーニングデータの4.2倍しか使用せず,従来のSOTA RS CLIPモデルを上回る結果が得られた。 RS-CoCaは、ベンチマークデータセット全体で他の高度なアプローチよりも優れており、手動のアノテーションに匹敵する、あるいは超えるRSイメージのキャプションを生成することができる。 データセット、事前訓練されたモデル、コードはhttps://github.com/YiguoHe/HQRS-210K-and-HQRS-CLIPでリリースされる。

関連論文リスト

• HQ-CLIP: Leveraging Large Vision-Language Models to Create High-Quality Image-Text Datasets and CLIP Models [15.877790469608662]
  画像とテキストのペアデータの品質を向上させるために,LVLM駆動型データ精錬パイプラインを導入する。 否定的な記述と短いタグを組み込むことで、従来のコントラスト学習を拡張する訓練パラダイムを提案する。 提案手法は, ゼロショット分類, クロスモーダル検索, きめ細かな視覚理解タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-07-30T07:21:36Z)
• Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
  LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
  論文  参考訳（メタデータ） (2025-07-28T23:52:53Z)
• Towards Visual Text Grounding of Multimodal Large Language Model [88.0588924255417]
  本稿では,テキストリッチな画像グラウンドのベンチマークを行うための命令データセットを新たに設計した新しいタスクであるTRIGを紹介する。 具体的には,OCR-LLM-ヒューマンインタラクションパイプラインを提案し,800の注釈付き質問応答ペアをベンチマークとして作成する。 提案したベンチマークによる各種MLLMの包括的評価は,テキストリッチな画像上でのグラウンド化能力の大幅な制限を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T12:01:59Z)
• MMM-RS: A Multi-modal, Multi-GSD, Multi-scene Remote Sensing Dataset and Benchmark for Text-to-Image Generation [25.252173311925027]
  マルチモーダル,マルチGSD,マルチシーンリモートセンシング(MMM-RS)データセットと,多様なリモートセンシングシナリオにおけるテキスト・ツー・イメージ生成のためのベンチマークを提案する。 大規模な事前学習型視覚言語モデルを用いて、テキストプロンプトを自動出力し、手作りの修正を行う。 広範囲な手動スクリーニングと修正アノテーションにより、最終的に約2100万のテキストイメージペアからなるMMM-RSデータセットを得る。
  論文  参考訳（メタデータ） (2024-10-26T11:19:07Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• RSTeller: Scaling Up Visual Language Modeling in Remote Sensing with Rich Linguistic Semantics from Openly Available Data and Large Language Models [5.981597754991408]
  我々は,Google Earth Engine (GEE) プラットフォームから取得した画像に対して,平易な OpenStreetMap (OSM) データから,意味的に豊富なキャプションを持つマルチモーダルデータセットを大規模に生成するワークフローを提案する。 本稿では,13万以上のRS画像からなるマルチモーダルデータセットであるRSTellerについて述べる。
  論文  参考訳（メタデータ） (2024-08-27T02:45:26Z)
• Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models [49.439311430360284]
  コントラスト学習と画像差分キャプションにインスパイアされた新しいデータ合成手法を提案する。 私たちのキーとなるアイデアは、マッチングと異なる要素の両方を識別するためにモデルに挑戦することです。 我々は、この生成されたデータセットを利用して、最先端(SOTA)MLLMを微調整する。
  論文  参考訳（メタデータ） (2024-08-08T17:10:16Z)
• Harnessing Massive Satellite Imagery with Efficient Masked Image Modeling [20.479011464156113]
  Masked Image Modeling (MIM)は、リモートセンシング(RS)における基礎的な視覚モデル構築に欠かせない方法となっている。 本稿では,大規模RSデータセットの作成とMIMの効率的なアプローチを特徴とする,RSモデルの事前学習パイプラインを提案する。 本研究では,セマンティックにリッチなパッチトークンを動的にエンコードし,再構成する事前学習手法であるSelectiveMAEを提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:41:57Z)
• MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
  MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。 本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。 拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:05:52Z)
• RS5M and GeoRSCLIP: A Large Scale Vision-Language Dataset and A Large Vision-Language Model for Remote Sensing [26.71560933421903]
  我々は、DVLM(Domain Pre-trained Vision-Language Model)を含む新しいフレームワークを提案する。 リモートセンシング(RS)分野における画像とテキストのペア化データセットであるRS5Mについて述べる。
  論文  参考訳（メタデータ） (2023-06-20T05:30:59Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• CLIP4Caption: CLIP for Video Caption [9.470254059503862]
  私たちは、CLIP対応ビデオテキストマッチングネットワーク(VTM)に基づくビデオキャプションを改善するCLIP4Captionフレームワークを提案する。 このフレームワークは、視覚と言語の両方からの情報を完全に活用し、テキスト生成のための強力なテキスト関連ビデオ機能を学ぶためにモデルを強制している。
  論文  参考訳（メタデータ） (2021-10-13T10:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。