論文の概要: RS-GPT4V: A Unified Multimodal Instruction-Following Dataset for Remote Sensing Image Understanding

• arxiv url: http://arxiv.org/abs/2406.12479v1
• Date: Tue, 18 Jun 2024 10:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:27:22.524640
• Title: RS-GPT4V: A Unified Multimodal Instruction-Following Dataset for Remote Sensing Image Understanding
• Title（参考訳）: RS-GPT4V:リモートセンシング画像理解のための統合マルチモーダル命令追従データセット
• Authors: Linrui Xu, Ling Zhao, Wang Guo, Qiujun Li, Kewang Long, Kaiqi Zou, Yuhan Wang, Haifeng Li,
• Abstract要約: 新しいLaGDパラダイムの下では、古いデータセットはもはや新しいタスクには適していない。 我々は、RSI理解のための高品質で多様なマルチモーダル命令追従データセットを設計した。 実験結果から, RS-GPT4Vによる微調整MLLMは, きめ細かい情報を記述できることがわかった。
• 参考スコア（独自算出の注目度）: 4.266920365127677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remote sensing image intelligence understanding model is undergoing a new profound paradigm shift which has been promoted by multi-modal large language model (MLLM), i.e. from the paradigm learning a domain model (LaDM) shifts to paradigm learning a pre-trained general foundation model followed by an adaptive domain model (LaGD). Under the new LaGD paradigm, the old datasets, which have led to advances in RSI intelligence understanding in the last decade, are no longer suitable for fire-new tasks. We argued that a new dataset must be designed to lighten tasks with the following features: 1) Generalization: training model to learn shared knowledge among tasks and to adapt to different tasks; 2) Understanding complex scenes: training model to understand the fine-grained attribute of the objects of interest, and to be able to describe the scene with natural language; 3) Reasoning: training model to be able to realize high-level visual reasoning. In this paper, we designed a high-quality, diversified, and unified multimodal instruction-following dataset for RSI understanding produced by GPT-4V and existing datasets, which we called RS-GPT4V. To achieve generalization, we used a (Question, Answer) which was deduced from GPT-4V via instruction-following to unify the tasks such as captioning and localization; To achieve complex scene, we proposed a hierarchical instruction description with local strategy in which the fine-grained attributes of the objects and their spatial relationships are described and global strategy in which all the local information are integrated to yield detailed instruction descript; To achieve reasoning, we designed multiple-turn QA pair to provide the reasoning ability for a model. The empirical results show that the fine-tuned MLLMs by RS-GPT4V can describe fine-grained information. The dataset is available at: https://github.com/GeoX-Lab/RS-GPT4V.
• Abstract（参考訳）: リモートセンシング画像インテリジェンス理解モデルは、マルチモーダルな大言語モデル(MLLM)によって促進された新しいディープパラダイムシフト、すなわち、ドメインモデル(LaDM)のパラダイム学習から、事前訓練された基礎モデル、そして適応ドメインモデル(LaGD)のパラダイム学習へと移行している。 新たなLaGDパラダイムの下では、過去10年間にRSIインテリジェンス理解の進歩に繋がった古いデータセットは、もはや新しいタスクには適していない。 新しいデータセットは、以下の機能でタスクを軽量化するために設計されなければならない、と私たちは主張した。 1)一般化:タスク間の共有知識を学習し,異なるタスクに適応するためのトレーニングモデル。 2 複雑な場面を理解すること:興味のある対象のきめ細かい属性を理解し、その場面を自然言語で表現できるように訓練する。 3)推論:高レベルの視覚的推論を実現するためのトレーニングモデル。 本稿では,GPT-4Vおよび既存のデータセットが生成するRSI理解のための高品質で多種多様なマルチモーダル命令追従データセットを設計し,これをRS-GPT4Vと呼ぶ。 一般化を実現するために,GPT-4V から導出された(Question, Answer) を用いて,キャプションやローカライゼーションなどのタスクを統一する。複雑なシーンを実現するために,オブジェクトの粒度の細かい属性と空間的関係を記述したローカル戦略と,すべてのローカル情報を統合して詳細なインストラクション記述を生成するグローバル戦略を提案する。 実験結果から, RS-GPT4Vによる微調整MLLMは, きめ細かい情報を記述できることがわかった。 データセットは、https://github.com/GeoX-Lab/RS-GPT4Vで利用可能である。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Diverse Representation Embedding for Lifelong Person Re-Identification [10.824003066938234]
  Lifelong Person Re-Identification (LReID)は、連続したデータストリームから継続的に学習し、複数のカメラで個人をマッチングすることを目的としている。 CNNのバックボーンに基づく既存のメソッドは、異なる視点から各インスタンスの表現を調べるには不十分である。 本稿では、まずLReIDのための純粋なトランスフォーマーを探索するDRE(Diverse Representations Embedding)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-24T04:22:37Z)
• The All-Seeing Project V2: Towards General Relation Comprehension of the Open World [58.40101895719467]
  本稿では,画像のオブジェクト関係を理解するために設計された新しいモデルとデータセットであるAll-Seeing Project V2を紹介する。 本稿では,テキスト生成,オブジェクトローカライゼーション,関係理解の定式化を関係会話タスクに統合するAll-Seeing Model V2を提案する。 我々のモデルは、画像内の全ての物体を知覚・認識するだけでなく、それらの間の複雑な関係グラフの把握にも優れている。
  論文  参考訳（メタデータ） (2024-02-29T18:59:17Z)
• Unified machine learning tasks and datasets for enhancing renewable energy [0.8356833388425764]
  ETT-17(Energy Transition Tasks-17)は再生可能エネルギーの増強に関連する17のデータセットの集合である。 すべてのタスクとデータセットを統一し、単一のマルチタスクMLモデルで解決できるようにします。
  論文  参考訳（メタデータ） (2023-11-12T15:30:44Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。