論文の概要: SkySenseGPT: A Fine-Grained Instruction Tuning Dataset and Model for Remote Sensing Vision-Language Understanding

• arxiv url: http://arxiv.org/abs/2406.10100v1
• Date: Fri, 14 Jun 2024 14:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-17 13:16:10.349036
• Title: SkySenseGPT: A Fine-Grained Instruction Tuning Dataset and Model for Remote Sensing Vision-Language Understanding
• Title（参考訳）: SkySenseGPT: リモートセンシングビジョン言語理解のための微粒化インストラクションチューニングデータセットとモデル
• Authors: Junwei Luo, Zhen Pang, Yongjun Zhang, Tingzhu Wang, Linlin Wang, Bo Dang, Jiangwei Lao, Jian Wang, Jingdong Chen, Yihua Tan, Yansheng Li,
• Abstract要約: 本稿では,1,800,851個の命令サンプルを含む大規模命令チューニングデータセットFIT-RSを提案する。 FIT-RSは、一般的な解釈タスクをカバーし、難易度を増大させるいくつかの複雑な理解タスクを革新的に導入する。 我々は、FIT-RSRCと呼ばれるLMMの詳細な関係理解能力を評価するための新しいベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 26.08043905865113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote Sensing Large Multi-Modal Models (RSLMMs) are developing rapidly and showcase significant capabilities in remote sensing imagery (RSI) comprehension. However, due to the limitations of existing datasets, RSLMMs have shortcomings in understanding the rich semantic relations among objects in complex remote sensing scenes. To unlock RSLMMs' complex comprehension ability, we propose a large-scale instruction tuning dataset FIT-RS, containing 1,800,851 instruction samples. FIT-RS covers common interpretation tasks and innovatively introduces several complex comprehension tasks of escalating difficulty, ranging from relation reasoning to image-level scene graph generation. Based on FIT-RS, we build the FIT-RSFG benchmark. Furthermore, we establish a new benchmark to evaluate the fine-grained relation comprehension capabilities of LMMs, named FIT-RSRC. Based on combined instruction data, we propose SkySenseGPT, which achieves outstanding performance on both public datasets and FIT-RSFG, surpassing existing RSLMMs. We hope the FIT-RS dataset can enhance the relation comprehension capability of RSLMMs and provide a large-scale fine-grained data source for the remote sensing community. The dataset will be available at https://github.com/Luo-Z13/SkySenseGPT
• Abstract（参考訳）: リモートセンシング大規模マルチモードモデル(RSLMM)は、リモートセンシング画像(RSI)の理解において、急速に発展し、重要な機能を示している。 しかし、既存のデータセットの制限により、複雑なリモートセンシングシーンにおけるオブジェクト間のリッチな意味関係を理解するのに、RSLMMは欠点がある。 RSLMMの複雑な理解能力を解き放つために,1,800,851個の命令サンプルを含む大規模命令チューニングデータセットFIT-RSを提案する。 FIT-RSは、共通解釈タスクをカバーし、関係推論から画像レベルのシーングラフ生成まで、難易度をエスカレートするいくつかの複雑な理解タスクを革新的に導入する。 FIT-RSに基づいてFIT-RSFGベンチマークを構築した。 さらに,FIT-RSRCと呼ばれるLMMの細粒度関係理解能力を評価するための新しいベンチマークを構築した。 提案するSkySenseGPTは,公開データセットとFIT-RSFGの両方で優れた性能を示し,既存のRSLMMを超えている。 我々は、FIT-RSデータセットがRSLMMの関係理解能力を向上し、リモートセンシングコミュニティのための大規模きめ細かなデータソースを提供することを期待している。 データセットはhttps://github.com/Luo-Z13/SkySenseGPTで利用可能になる

関連論文リスト

• Neurosymbolic Inference On Foundation Models For Remote Sensing Text-to-image Retrieval With Complex Queries [0.12744523252873352]
  RUNE(Reasoning Using Neurosymbolic Entities)は、大言語モデル(LLM)とニューロシンボリックAIを組み合わせて画像を取得するアプローチである。 暗黙の結合埋め込みに依存するRS-LVLMとは異なり、RUNEは明示的な推論を行い、性能と解釈可能性を高める。 衛星画像検索におけるRUNEの現実的応用の可能性を示す。
  論文  参考訳（メタデータ） (2025-12-16T05:33:44Z)
• Co-Training Vision Language Models for Remote Sensing Multi-task Learning [68.15604397741753]
  視覚言語モデル(VLM)は、RS画像理解、グラウンド化、超高解像度(UHR)画像推論において有望な結果を得た。 本稿では,RSMTLのための簡易かつ柔軟なVLMベースラインであるRSCoVLMを提案する。 本稿では、RS画像に固有の多様な画像スケールに対処する、統一された動的解像度戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-26T10:55:07Z)
• REMSA: An LLM Agent for Foundation Model Selection in Remote Sensing [16.401094981355218]
  ファンデーションモデル(FM)は、環境モニタリング、災害評価、土地利用マッピングといったタスクにリモートセンシング(RS)にますます使われています。 本稿では、複数のデータモダリティ、解像度、学習パラダイムにまたがる150以上のRSFMをカバーする構造化リソースであるRSFM Database(RS-FMD)を紹介する。 自然言語クエリからRSFMを自動選択するための最初のLSMベースのエージェントであるREMSAを提案する。
  論文  参考訳（メタデータ） (2025-11-21T17:41:26Z)
• MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
  大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。 MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
  論文  参考訳（メタデータ） (2025-10-31T15:51:39Z)
• PlotCraft: Pushing the Limits of LLMs for Complex and Interactive Data Visualization [82.96200364977737]
  PlotCraftは、1kの挑戦的な視覚化タスクを特徴とする新しいベンチマークだ。 PlotCraftは7つのハイレベルな視覚化タスクを中心に構成されており、48の異なるチャートタイプを含んでいる。 単一ターン生成と多ターン改善の両方を多種多様なタスク複雑度にわたって体系的に評価するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-10-15T10:14:39Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing [55.291219073365546]
  Open-Vocabulary Remote Sensing Image (OVRSIS)は、OVS(Open-Vocabulary)をリモートセンシング(RS)ドメインに適応させる新しいタスクである。 textbfRSKT-Segは、リモートセンシングに適した新しいオープン語彙セグメンテーションフレームワークである。 RSKT-Segは高いOVSベースラインを+3.8 mIoUと+5.9 mACCで上回り、効率的なアグリゲーションによって2倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2025-09-15T15:24:49Z)
• Region-Level Context-Aware Multimodal Understanding [52.565528550835786]
  地域レベルのコンテキスト対応マルチモーダル理解(RCMU)は、よりコンテキスト対応のマルチモーダル理解のためにオブジェクトに関連するテキストコンテキストを統合する能力である。 MLLMにRCMU機能を持たせるために、領域レベルのコンテキスト対応ビジュアルインストラクションチューニング(RCVIT)を提案する。 複数のRCMUタスクをカバーする大規模ビジュアルインストラクションチューニングデータセットであるRCMUデータセットを紹介する。 また、RCMUにおけるMLLMの性能とマルチモーダルパーソナライズされた理解タスクを評価するための総合的なベンチマークであるRC&P-Benchを提案する。
  論文  参考訳（メタデータ） (2025-08-17T07:18:43Z)
• MambaOutRS: A Hybrid CNN-Fourier Architecture for Remote Sensing Image Classification [4.14360329494344]
  リモートセンシング画像分類のための新しいハイブリッド畳み込みアーキテクチャであるMambaOutRSを紹介する。 MambaOutRSは、局所的な特徴抽出のためにスタック化されたGated CNNブロック上に構築され、新しいFourier Filter Gate (FFG)モジュールが導入されている。
  論文  参考訳（メタデータ） (2025-06-24T12:20:11Z)
• PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model [76.95536611263356]
  PolSARデータは、そのリッチで複雑な特徴のために、ユニークな課題を提示する。 複素数値データ、偏光特性、振幅画像などの既存のデータ表現が広く使われている。 PolSARのほとんどの機能抽出ネットワークは小さく、機能を効果的にキャプチャする能力を制限している。 本稿では,ドメイン固有の散乱特性と新規なプロンプト生成戦略を統合したSegment Anything Model (SAM) であるPolarimetric Scattering Mechanism-Informed SAM (PolSAM)を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:59:53Z)
• SpecSAR-Former: A Lightweight Transformer-based Network for Global LULC Mapping Using Integrated Sentinel-1 and Sentinel-2 [13.17346252861919]
  我々はDynamic World+データセットを導入し、現在の信頼できるマルチスペクトルデータセットDynamic Worldを拡張した。 マルチスペクトルとSARデータの組み合わせを容易にするために,SpecSAR-Formerと呼ばれる軽量トランスフォーマアーキテクチャを提案する。 我々のネットワークは、既存のトランスフォーマーとCNNベースのモデルより優れており、平均的なユニオンのインターセクション(mIoU)は59.58%、総合的精度(OA)は79.48%、F1スコアは71.68%、パラメータは26.70万である。
  論文  参考訳（メタデータ） (2024-10-04T22:53:25Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• RS-GPT4V: A Unified Multimodal Instruction-Following Dataset for Remote Sensing Image Understanding [4.266920365127677]
  新しいLaGDパラダイムの下では、古いデータセットはもはや新しいタスクには適していない。 我々は、RSI理解のための高品質で多様なマルチモーダル命令追従データセットを設計した。 実験結果から, RS-GPT4Vによる微調整MLLMは, きめ細かい情報を記述できることがわかった。
  論文  参考訳（メタデータ） (2024-06-18T10:34:28Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• SARDet-100K: Towards Open-Source Benchmark and ToolKit for Large-Scale SAR Object Detection [79.23689506129733]
  我々は,大規模SARオブジェクト検出のための新しいベンチマークデータセットとオープンソース手法を構築した。 私たちのデータセットであるSARDet-100Kは、10の既存のSAR検出データセットの厳格な調査、収集、標準化の結果です。 私たちの知る限りでは、SARDet-100KはCOCOレベルの大規模マルチクラスSARオブジェクト検出データセットとしては初めてのものです。
  論文  参考訳（メタデータ） (2024-03-11T09:20:40Z)
• SwiMDiff: Scene-wide Matching Contrastive Learning with Diffusion Constraint for Remote Sensing Image [21.596874679058327]
  SwiMDiffは、リモートセンシング画像のための新しい自己教師付き事前トレーニングフレームワークである。 ラベルを再分類し、同じシーンからのデータを偽陰性として認識する。 対照的学習(CL)と拡散モデルとをシームレスに統合する。
  論文  参考訳（メタデータ） (2024-01-10T11:55:58Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• GAMUS: A Geometry-aware Multi-modal Semantic Segmentation Benchmark for Remote Sensing Data [27.63411386396492]
  本稿では,RGB-Height(RGB-H)データに基づくマルチモーダルセマンティックセマンティックセマンティクスのための新しいベンチマークデータセットを提案する。 提案するベンチマークは,1)共登録RGBとnDSMペアと画素単位のセマンティックラベルを含む大規模データセットと,2)リモートセンシングデータに基づく畳み込みとトランスフォーマーベースのネットワークのための既存のマルチモーダル融合戦略の包括的評価と解析からなる。
  論文  参考訳（メタデータ） (2023-05-24T09:03:18Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。