論文の概要: VHM: Versatile and Honest Vision Language Model for Remote Sensing Image Analysis

• arxiv url: http://arxiv.org/abs/2403.20213v3
• Date: Wed, 06 Nov 2024 07:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 11:17:13.973700
• Title: VHM: Versatile and Honest Vision Language Model for Remote Sensing Image Analysis
• Title（参考訳）: VHM:リモートセンシング画像解析のためのVersatile and Honest Vision Language Model
• Authors: Chao Pang, Xingxing Weng, Jiang Wu, Jiayu Li, Yi Liu, Jiaxing Sun, Weijia Li, Shuai Wang, Litong Feng, Gui-Song Xia, Conghui He,
• Abstract要約: 本稿では,リモートセンシング画像解析のためのVersatile and Honest Vision Language Model (VHM) を提案する。 VHMは、リッチコンテンツキャプション(VersaD)を備えた大規模リモートセンシング画像テキストデータセットと、事実と偽造的質問(HnstD)の両方からなる正直な命令データセット上に構築されている。 実験では,VHMはシーン分類,視覚的質問応答,視覚的接地といった共通タスクにおいて,様々な視覚言語モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 48.06425266787859
• License:
• Abstract: This paper develops a Versatile and Honest vision language Model (VHM) for remote sensing image analysis. VHM is built on a large-scale remote sensing image-text dataset with rich-content captions (VersaD), and an honest instruction dataset comprising both factual and deceptive questions (HnstD). Unlike prevailing remote sensing image-text datasets, in which image captions focus on a few prominent objects and their relationships, VersaD captions provide detailed information about image properties, object attributes, and the overall scene. This comprehensive captioning enables VHM to thoroughly understand remote sensing images and perform diverse remote sensing tasks. Moreover, different from existing remote sensing instruction datasets that only include factual questions, HnstD contains additional deceptive questions stemming from the non-existence of objects. This feature prevents VHM from producing affirmative answers to nonsense queries, thereby ensuring its honesty. In our experiments, VHM significantly outperforms various vision language models on common tasks of scene classification, visual question answering, and visual grounding. Additionally, VHM achieves competent performance on several unexplored tasks, such as building vectorizing, multi-label classification and honest question answering. We will release the code, data and model weights at https://github.com/opendatalab/VHM .
• Abstract（参考訳）: 本稿では,リモートセンシング画像解析のためのVersatile and Honest Vision Language Model (VHM) を提案する。 VHMは、リッチコンテンツキャプション(VersaD)を備えた大規模なリモートセンシング画像テキストデータセットと、事実と偽造的質問(HnstD)の両方からなる正直な命令データセット上に構築されている。 画像キャプションがいくつかの顕著なオブジェクトとその関係に焦点を当てる一般的なリモートセンシングイメージテキストデータセットとは異なり、VersaDキャプションは画像特性、オブジェクト属性、全体シーンに関する詳細な情報を提供する。 この包括的キャプションにより、VHMはリモートセンシング画像を徹底的に理解し、多様なリモートセンシングタスクを実行することができる。 さらに、実際の質問のみを含む既存のリモートセンシングインストラクションデータセットとは異なり、HnstDには、オブジェクトの非存在から生じる追加の偽装的な質問が含まれている。 この機能は、VHMがナンセンスなクエリに対する肯定的な回答を生成するのを防ぐ。 実験では,VHMはシーン分類,視覚的質問応答,視覚的接地といった共通タスクにおいて,様々な視覚言語モデルよりも優れていた。 さらに、VHMはベクトル化、複数ラベルの分類、正直な質問応答など、探索されていないいくつかのタスクにおいて有能な性能を達成する。 コード、データ、モデルの重み付けはhttps://github.com/opendatalab/VHM で公開します。

関連論文リスト

• Learning to Ground VLMs without Forgetting [54.033346088090674]
  我々は、既存の画像や言語理解スキルを忘れずに、事前訓練されたビジュアル言語モデルに視覚的接地能力を持たせるフレームワークであるLynXを紹介する。 モデルを効果的に訓練するために、私たちはSCouTと呼ばれる高品質な合成データセットを生成します。 我々はLynXを複数のオブジェクト検出および視覚的グラウンド化データセット上で評価し、オブジェクト検出、ゼロショットローカライゼーション、グラウンドド推論において強い性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• VRSBench: A Versatile Vision-Language Benchmark Dataset for Remote Sensing Image Understanding [41.74095171149082]
  本稿では、VRSBenchと呼ばれるリモートセンシング画像理解のためのVersatile視覚言語ベンチマークを提案する。 このベンチマークは29,614枚の画像と29,614個の人間認証された詳細なキャプション、52,472個のオブジェクト参照、123,221個の質問応答ペアで構成されている。 さらに,画像キャプション,視覚的グラウンド,視覚的質問応答という3つの視覚言語課題に対して,このベンチマークの最先端モデルについて検討した。
  論文  参考訳（メタデータ） (2024-06-18T08:15:21Z)
• SkyScript: A Large and Semantically Diverse Vision-Language Dataset for Remote Sensing [14.79627534702196]
  我々は、29Kの異なるセマンティックタグを含む260万の画像テキストペアからなる、リモートセンシング画像のための視覚言語データセットを構築した。 このデータセット上で連続的な事前学習を行うことで、ゼロショットシーン分類において平均精度が6.2%のベースラインモデルを超えるVLMが得られる。 また、オブジェクト属性の細粒度分類とクロスモーダル検索のためのゼロショット転送の能力を示す。
  論文  参考訳（メタデータ） (2023-12-20T09:19:48Z)
• Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment [61.769441954135246]
  テキストアノテーションを使わずにリモートセンシング画像の視覚言語モデルを訓練する手法を提案する。 私たちの重要な洞察は、リモートセンシング画像と言語を接続するための仲介手段として、地上で撮影されたコロケーションのインターネットイメージを使用することです。
  論文  参考訳（メタデータ） (2023-12-12T03:39:07Z)
• GeoChat: Grounded Large Vision-Language Model for Remote Sensing [65.78360056991247]
  提案するGeoChatは,高解像度RS画像を用いたマルチタスク対話機能を備えた,世界初の汎用リモートセンシング大型ビジョンランゲージモデル(VLM)である。 具体的には、GeoChatは画像レベルのクエリに応答できるが、リージョン固有の対話を保持するためにリージョン入力を受け付けている。 GeoChatは、画像や領域キャプション、視覚的質問応答、シーン分類、視覚的に接地された会話、参照検出など、様々なRSタスクに対して、堅牢なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T18:59:10Z)
• CtxMIM: Context-Enhanced Masked Image Modeling for Remote Sensing Image Understanding [38.53988682814626]
  リモートセンシング画像理解のためのコンテキスト強化マスク画像モデリング手法(CtxMIM)を提案する。 CtxMIMは、オリジナルのイメージパッチを再構成テンプレートとして定式化し、2セットのイメージパッチを操作するために、Siameseフレームワークを使用している。 シンプルでエレガントな設計により、CtxMIMは、大規模データセットでオブジェクトレベルまたはピクセルレベルの機能を学ぶための事前トレーニングモデルを奨励する。
  論文  参考訳（メタデータ） (2023-09-28T18:04:43Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Understanding ME? Multimodal Evaluation for Fine-grained Visual Commonsense [98.70218717851665]
  モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。 本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。 次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
  論文  参考訳（メタデータ） (2022-11-10T21:44:33Z)
• RSVQA: Visual Question Answering for Remote Sensing Data [6.473307489370171]
  本稿では,リモートセンシングデータ(RSVQA)における視覚的質問応答の課題を紹介する。 自然言語で定式化された質問を使って画像と対話する。 データセットは(教師付きメソッドを使用して)トレーニングや、RSVQAタスクを解決するためのモデル評価に使用することができる。
  論文  参考訳（メタデータ） (2020-03-16T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。