論文の概要: GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

• arxiv url: http://arxiv.org/abs/2501.13925v1
• Date: Thu, 23 Jan 2025 18:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:00.520646
• Title: GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing
• Title（参考訳）: GeoPixel: リモートセンシングにおける大規模マルチモーダルモデルの構築
• Authors: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan,
• Abstract要約: GeoPixelは、ピクセルレベルのグラウンド化をサポートするエンドツーエンドの高解像度RS-LMMである。 任意のアスペクト比で最大4K HD解像度をサポートし、高精度RS画像解析に最適である。 GeoPixelはピクセルレベルの理解において優れた性能を示し、単一ターゲットとマルチターゲットのセグメンテーションタスクの両方において既存のLMMを上回っている。
• 参考スコア（独自算出の注目度）: 32.85223015863783
• License:
• Abstract: Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の最近の進歩は、きめ細かい接地を視覚的理解と対話の必須要素として認識している。 しかし、LMMにおけるそのような表現の利点は自然画像領域に限られており、これらのモデルはリモートセンシング(RS)では不十分である。 高解像度RS画像におけるオーバヘッドの視点、スケールの変動、および小さな物体の存在は、地域レベルの理解においてユニークな課題である。 さらに、RS内におけるLMMの接地会話能力の発達は、粒度の低いRSドメイン固有の接地データ不足によって妨げられる。 これらの制約に対処するため,画素レベルのグラウンド化をサポートする最初のエンドツーエンド高解像度RS-LMMであるGeoPixelを提案する。 この能力は、会話中にインターリーブされたマスクを生成することによって、きめ細かい視覚知覚を可能にする。 GeoPixelは、任意のアスペクト比で最大4K HD解像度をサポートし、高精度RS画像解析に最適である。 RS画像におけるグラウンドド・会話生成(GCG)を支援するために、RSデータに適したマークのプロンプトと空間的事前設定を利用した半自動パイプラインを通して、視覚的にグラウンドド・データセットGeoPixelDをキュレートし、データ生成プロセスを体系的に制御する。 GeoPixelはピクセルレベルの理解において優れた性能を示し、単一ターゲットとマルチターゲットのセグメンテーションタスクにおいて既存のLMMを上回っている。 提案手法は, 全体アーキテクチャにおける各コンポーネントの有効性を検証するものである。 コードとデータは公開されます。

関連論文リスト

• PGNeXt: High-Resolution Salient Object Detection via Pyramid Grafting Network [24.54269823691119]
  本稿では、データセットとネットワークフレームワークの両方の観点から、より難解な高分解能サルエントオブジェクト検出(HRSOD)について述べる。 HRSODデータセットの欠如を補うため、UHRSDと呼ばれる大規模高解像度の高分解能物体検出データセットを慎重に収集した。 すべての画像はピクセルレベルで微妙にアノテートされ、以前の低解像度のSODデータセットをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-08-02T09:31:21Z)
• Scaling Efficient Masked Image Modeling on Large Remote Sensing Dataset [66.15872913664407]
  本稿では、大規模RSデータセットの作成とMIMの効率的なアプローチを特徴とする、RSモデルのための新しい事前学習パイプラインを提案する。 我々は、利用可能なRSデータセットを収集し、排他的、スライシング、復号化を通じてそれらを処理することで、OptoRS-13Mという高品質なデータセットをキュレートした。 実験により,OCR-13Mは分類,検出,セグメンテーション性能を著しく向上し,SelectiveMAEは2回以上のトレーニング効率を向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-17T15:41:57Z)
• RS-Mamba for Large Remote Sensing Image Dense Prediction [58.12667617617306]
  本稿では,大規模なVHRリモートセンシング画像における高密度予測タスクに対するリモートセンシング・マンバ(RSM)を提案する。 RSMは、線形複雑度でリモートセンシング画像のグローバルなコンテキストを捉えるように設計されている。 我々のモデルは、大規模なリモートセンシング画像の変換器ベースモデルよりも効率と精度がよい。
  論文  参考訳（メタデータ） (2024-04-03T12:06:01Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• GeoChat: Grounded Large Vision-Language Model for Remote Sensing [65.78360056991247]
  提案するGeoChatは,高解像度RS画像を用いたマルチタスク対話機能を備えた,世界初の汎用リモートセンシング大型ビジョンランゲージモデル(VLM)である。 具体的には、GeoChatは画像レベルのクエリに応答できるが、リージョン固有の対話を保持するためにリージョン入力を受け付けている。 GeoChatは、画像や領域キャプション、視覚的質問応答、シーン分類、視覚的に接地された会話、参照検出など、様々なRSタスクに対して、堅牢なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T18:59:10Z)
• DeepMerge: Deep-Learning-Based Region-Merging for Image Segmentation [7.063322114865965]
  本稿では,DeepMergeと呼ばれる深層学習に基づく領域マージ手法を提案する。 これは、ディープラーニングを用いて類似性を学習し、RAGに隣接する類似のスーパーピクセルをマージする最初の方法である。 DeepMergeは最も高いF値(0.9550)と最も低い総誤差TE(0.0895)を達成し、異なるサイズのオブジェクトを正しく分割し、競合する全てのセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2023-05-31T12:27:58Z)
• RSVG: Exploring Data and Models for Visual Grounding on Remote Sensing Data [14.742224345061487]
  リモートセンシングデータ(RSVG)の視覚的グラウンド化の課題について紹介する。 RSVGは、自然言語のガイダンスを用いて、参照対象をリモートセンシング(RS)画像にローカライズすることを目的としている。 本研究では,RSVGの大規模ベンチマークデータセットを構築し,RSVGタスクのディープラーニングモデルについて検討する。
  論文  参考訳（メタデータ） (2022-10-23T07:08:22Z)
• Transformer Meets Convolution: A Bilateral Awareness Net-work for Semantic Segmentation of Very Fine Resolution Ur-ban Scene Images [6.460167724233707]
  本稿では,依存経路とテクスチャパスを含む相互認知ネットワーク(BANet)を提案する。 BANetは、VFR画像の長距離関係と細かな詳細をキャプチャする。 3つの大規模都市景観画像セグメンテーションデータセット(ISPRS Vaihingen データセット、ISPRS Potsdam データセット、UAVid データセット)で実施された実験は、BANetの有効性を実証している。
  論文  参考訳（メタデータ） (2021-06-23T13:57:36Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。