論文の概要: Enhancing Ultra High Resolution Remote Sensing Imagery Analysis with ImageRAG

• arxiv url: http://arxiv.org/abs/2411.07688v1
• Date: Tue, 12 Nov 2024 10:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:30.927041
• Title: Enhancing Ultra High Resolution Remote Sensing Imagery Analysis with ImageRAG
• Title（参考訳）: ImageRAGによる超高分解能リモートセンシング画像解析の実現
• Authors: Zilun Zhang, Haozhan Shen, Tiancheng Zhao, Yuhao Wang, Bin Chen, Yuxiang Cai, Yongheng Shang, Jianwei Yin,
• Abstract要約: ImageRAG for RSは、UHRリモートセンシング画像の解析の複雑さに対処する、トレーニング不要のフレームワークである。 ImageRAGのコアイノベーションは、UHRイメージの最も関連性の高い部分を視覚的コンテキストとして選択的に検索し、焦点を合わせる能力にある。
• 参考スコア（独自算出の注目度）: 24.342190878813234
• License:
• Abstract: Ultra High Resolution (UHR) remote sensing imagery (RSI) (e.g. 100,000 $\times$ 100,000 pixels or more) poses a significant challenge for current Remote Sensing Multimodal Large Language Models (RSMLLMs). If choose to resize the UHR image to standard input image size, the extensive spatial and contextual information that UHR images contain will be neglected. Otherwise, the original size of these images often exceeds the token limits of standard RSMLLMs, making it difficult to process the entire image and capture long-range dependencies to answer the query based on the abundant visual context. In this paper, we introduce ImageRAG for RS, a training-free framework to address the complexities of analyzing UHR remote sensing imagery. By transforming UHR remote sensing image analysis task to image's long context selection task, we design an innovative image contextual retrieval mechanism based on the Retrieval-Augmented Generation (RAG) technique, denoted as ImageRAG. ImageRAG's core innovation lies in its ability to selectively retrieve and focus on the most relevant portions of the UHR image as visual contexts that pertain to a given query. Fast path and slow path are proposed in this framework to handle this task efficiently and effectively. ImageRAG allows RSMLLMs to manage extensive context and spatial information from UHR RSI, ensuring the analysis is both accurate and efficient.
• Abstract（参考訳）: UHR(Ultra High Resolution)リモートセンシング画像(例:10000$\times$10000ピクセル以上)は、現在のリモートセンシングマルチモーダル大言語モデル(RSMLLM)にとって重要な課題である。 UHR画像の標準入力画像サイズへのサイズ変更を選択すると、UHR画像が含む広い空間的・文脈的な情報は無視される。 さもなくば、これらの画像の本来のサイズは標準のRSMLLMのトークン制限を超え、画像全体を処理し、豊富な視覚的コンテキストに基づいてクエリに答えるために長距離依存関係をキャプチャすることが困難になる。 本稿では,UHRリモートセンシング画像の解析の複雑さに対処するトレーニング不要なフレームワークであるImageRAG for RSを紹介する。 本研究では,UHRリモートセンシング画像解析タスクを画像の長期文脈選択タスクに変換することにより,画像RAG(Retrieval-Augmented Generation, RAG)技術に基づく,革新的な画像コンテキスト検索機構を設計する。 ImageRAGのコアイノベーションは、与えられたクエリに関連する視覚的コンテキストとして、UHRイメージの最も関連性の高い部分を選択的に検索し、焦点を合わせる能力にある。 このフレームワークでは、このタスクを効率的かつ効率的に処理するために、高速パスと遅いパスが提案されている。 ImageRAGにより、RSMLLMはUHR RSIから広範囲のコンテキストや空間情報を管理でき、分析が正確かつ効率的であることを保証する。

関連論文リスト

• RS-Mamba for Large Remote Sensing Image Dense Prediction [58.12667617617306]
  本稿では,大規模なVHRリモートセンシング画像における高密度予測タスクに対するリモートセンシング・マンバ(RSM)を提案する。 RSMは、線形複雑度でリモートセンシング画像のグローバルなコンテキストを捉えるように設計されている。 我々のモデルは、大規模なリモートセンシング画像の変換器ベースモデルよりも効率と精度がよい。
  論文  参考訳（メタデータ） (2024-04-03T12:06:01Z)
• RSVG: Exploring Data and Models for Visual Grounding on Remote Sensing Data [14.742224345061487]
  リモートセンシングデータ(RSVG)の視覚的グラウンド化の課題について紹介する。 RSVGは、自然言語のガイダンスを用いて、参照対象をリモートセンシング(RS)画像にローカライズすることを目的としている。 本研究では,RSVGの大規模ベンチマークデータセットを構築し,RSVGタスクのディープラーニングモデルについて検討する。
  論文  参考訳（メタデータ） (2022-10-23T07:08:22Z)
• Geometry-Aware Reference Synthesis for Multi-View Image Super-Resolution [16.68091352547819]
  MVISR(Multi-View Image Super-Resolution)タスクは、同じシーンから撮影されたマルチビュー画像の解像度を高めることを目的としている。 1つの解決策は、低解像度(LR)入力ビューからHR結果を再構成するために画像またはビデオ超解像(SR)手法を適用することである。 本稿では、幾何情報を用いて全てのLRマルチビューからシャープな詳細を抽出し、LR入力ビューのSRをサポートするMVSRnetを提案する。
  論文  参考訳（メタデータ） (2022-07-18T13:46:47Z)
• Rethinking Super-Resolution as Text-Guided Details Generation [21.695227836312835]
  テキストと画像のモダリティからの情報を有効に活用できるテキストガイド型超解法(TGSR)フレームワークを提案する。 提案したTGSRは、粗い処理によってテキスト記述と一致するHR画像の詳細を生成することができる。
  論文  参考訳（メタデータ） (2022-07-14T01:46:38Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Memory-augmented Deep Unfolding Network for Guided Image Super-resolution [67.83489239124557]
  誘導画像超解像(GISR)は、HR画像の誘導の下で低解像度(LR)目標画像の空間分解能を高めて高解像度(HR)目標画像を得る。 従来のモデルベース手法は主に画像全体を取り、HR目標画像とHRガイダンス画像との事前分布を仮定する。 HR目標画像上で2種類の事前性を持つGISRの最大後部(MAP)推定モデルを提案する。
  論文  参考訳（メタデータ） (2022-02-12T15:37:13Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)
• On Creating Benchmark Dataset for Aerial Image Interpretation: Reviews, Guidances and Million-AID [57.71601467271486]
  本稿では,RS画像解釈に適したベンチマークデータセットを効率的に作成する方法の問題点について論じる。 本稿ではまず,文献計測によるRS画像解釈のためのインテリジェントアルゴリズム開発における課題について分析する。 提案したガイダンスに続いて、RSイメージデータセットの構築例、すなわち、新しい大規模ベンチマークデータセットであるMario-AIDも提供する。
  論文  参考訳（メタデータ） (2020-06-22T17:59:00Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。