論文の概要: Bring Remote Sensing Object Detect Into Nature Language Model: Using SFT Method

• arxiv url: http://arxiv.org/abs/2503.08144v1
• Date: Tue, 11 Mar 2025 08:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 22:35:51.625355
• Title: Bring Remote Sensing Object Detect Into Nature Language Model: Using SFT Method
• Title（参考訳）: SFT法を用いた自然言語モデルへのリモートセンシングオブジェクト検出
• Authors: Fei Wang, Chengcheng Chen, Hongyu Chen, Yugang Chang, Weiming Zeng,
• Abstract要約: リモートセンシング画像における物体検出のための視覚モデルの適用について検討する。 従来のアノテーション情報を自然言語に変換し,VLMトレーニングのための命令調整データセットを構築する。 次に、VLMの様々な微調整戦略の検出性能を評価し、リモートセンシング画像における物体検出のための最適化されたモデル重みを求める。
• 参考スコア（独自算出の注目度）: 10.748210940033484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large language models (LLMs) and visionlanguage models (VLMs) have achieved significant success, demonstrating remarkable capabilities in understanding various images and videos, particularly in classification and detection tasks. However, due to the substantial differences between remote sensing images and conventional optical images, these models face considerable challenges in comprehension, especially in detection tasks. Directly prompting VLMs with detection instructions often fails to yield satisfactory results. To address this issue, this letter explores the application of VLMs for object detection in remote sensing images. Specifically, we utilize publicly available remote sensing object detection datasets, including SSDD, HRSID, and NWPU-VHR-10, to convert traditional annotation information into natural language, thereby constructing an instruction-tuning (SFT) dataset for VLM training. We then evaluate the detection performance of different fine-tuning strategies for VLMs and obtain optimized model weights for object detection in remote sensing images. Finally, we assess the model's prior knowledge capabilities through natural language queries.Experimental results demonstrate that, without modifying the model architecture, remote sensing object detection can be effectively achieved using natural language alone. Additionally, the model exhibits the ability to perform certain vision question answering (VQA) tasks. Our dataset and relevant code will be released soon.
• Abstract（参考訳）: 近年,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) は大きな成功を収めており,特に分類・検出タスクにおいて,様々な画像や映像の理解において顕著な能力を発揮している。 しかし、リモートセンシング画像と従来の光学画像とは大きく異なるため、これらのモデルは、特に検出タスクにおいて、理解においてかなりの課題に直面している。 直接的にVLMを検出命令で促すと、良好な結果が得られないことが多い。 この問題に対処するため,本稿では,リモートセンシング画像におけるオブジェクト検出へのVLMの適用について検討する。 具体的には, SSDD, HRSID, NWPU-VHR-10などのリモートセンシングオブジェクト検出データセットを用いて, 従来のアノテーション情報を自然言語に変換することにより, VLMトレーニングのための命令チューニングデータセットを構築する。 次に、VLMの様々な微調整戦略の検出性能を評価し、リモートセンシング画像における物体検出のための最適化されたモデル重みを求める。 実験の結果、モデルアーキテクチャを変更することなく、自然言語のみを用いてリモートセンシングオブジェクト検出を効果的に実現できることが実証された。 さらに、このモデルは特定の視覚質問応答(VQA)タスクを実行する能力を示す。 データセットと関連するコードはまもなくリリースされます。

関連論文リスト

• Re-Aligning Language to Visual Objects with an Agentic Workflow [73.73778652260911]
  言語に基づくオブジェクト検出は、視覚オブジェクトを言語表現に合わせることを目的としている。 近年の研究では視覚言語モデル(VLM)を活用して視覚オブジェクトに対する人間的な表現を自動的に生成している。 画像やテキストのプロンプトを適応的に調整することで,視覚オブジェクトに言語を適応させるエージェントワークフローを提案する。
  論文  参考訳（メタデータ） (2025-03-30T16:41:12Z)
• EagleVision: Object-level Attribute Multimodal LLM for Remote Sensing [3.3072144045024396]
  EagleVisionは、オブジェクトの検出と属性の理解に優れるリモートセンシング用に設計されたMLLMである。 EVAttrs-95Kは、命令チューニングのためのRSにおいて、最初の大規模オブジェクト属性理解データセットである。 EagleVisionは、細粒度オブジェクト検出とオブジェクト属性理解タスクの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-30T06:13:13Z)
• Integrating Frequency-Domain Representations with Low-Rank Adaptation in Vision-Language Models [0.6715525121432597]
  本研究では,特徴抽出,拡張性,効率性を向上する新しい視覚言語モデル(VLM)フレームワークを提案する。 ガウス雑音のレベルが異なるベンチマークデータセットを用いて,キャプション生成モデルと視覚質問応答(VQA)タスクの評価を行った。 我々のモデルは、特に無人地上車両(UGV)に搭載されたRealSenseカメラで捉えた現実世界のイメージに対して、より詳細で文脈的に関係のある応答を提供する。
  論文  参考訳（メタデータ） (2025-03-08T01:22:10Z)
• Generalization-Enhanced Few-Shot Object Detection in Remote Sensing [22.411751110592842]
  Few-shot Object Detection (FSOD) は、データ制限条件下でのオブジェクト検出の課題をターゲットにしている。 リモートセンシングタスクにおける一般化機能を改善するために,GE-FSODモデルを提案する。 我々のモデルでは、CFPAN(Cross-Level Fusion Pyramid Attention Network)、MRRPN(Multi-Stage Refinement Region Proposal Network)、GCL(Generalized Classification Loss)の3つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-01-05T08:12:25Z)
• Oriented Tiny Object Detection: A Dataset, Benchmark, and Dynamic Unbiased Learning [51.170479006249195]
  本研究では,新しいデータセット,ベンチマーク,動的粗大な学習手法を提案する。 提案するデータセットであるAI-TOD-Rは、すべてのオブジェクト指向オブジェクト検出データセットの中で最小のオブジェクトサイズを特徴としている。 完全教師付きおよびラベル効率の両アプローチを含む,幅広い検出パラダイムにまたがるベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-16T09:14:32Z)
• RSUniVLM: A Unified Vision Language Model for Remote Sensing via Granularity-oriented Mixture of Experts [17.76606110070648]
  複数の粒度にまたがる包括的視覚理解のための統一型エンドツーエンドRS VLMであるRSUniVLMを提案する。 RSUniVLMは、変更検出や変更キャプションのインスタンスを含む、マルチイメージ解析において効果的に機能する。 また、RSと一般ドメインの両方の既存のデータセットに基づいて、大規模なRS命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:11:21Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Aquila: A Hierarchically Aligned Visual-Language Model for Enhanced Remote Sensing Image Comprehension [6.29665399879184]
  本稿では、リモートセンシング画像のための高度な視覚言語基盤モデルであるAquilaを紹介する。 Aquilaはよりリッチな視覚的特徴表現とより正確な視覚的特徴アライメントを可能にする。 定量的実験と定性解析により,Aquilaの有効性を検証した。
  論文  参考訳（メタデータ） (2024-11-09T05:31:56Z)
• From Pixels to Prose: Advancing Multi-Modal Language Models for Remote Sensing [16.755590790629153]
  本稿では,リモートセンシングにおけるマルチモーダル言語モデル(MLLM)の開発と応用について検討する。 我々は、自然言語を用いて衛星画像の解釈と記述を行う能力に焦点をあてる。 シーン記述、オブジェクト検出、変更検出、テキスト・ツー・イメージ検索、画像・ツー・テキスト生成、視覚的質問応答などの重要な応用について論じる。
  論文  参考訳（メタデータ） (2024-11-05T12:14:22Z)
• Learning to Ground VLMs without Forgetting [54.033346088090674]
  我々は、既存の画像や言語理解スキルを忘れずに、事前訓練されたビジュアル言語モデルに視覚的接地能力を持たせるフレームワークであるLynXを紹介する。 モデルを効果的に訓練するために、私たちはSCouTと呼ばれる高品質な合成データセットを生成します。 我々はLynXを複数のオブジェクト検出および視覚的グラウンド化データセット上で評価し、オブジェクト検出、ゼロショットローカライゼーション、グラウンドド推論において強い性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Interactive Masked Image Modeling for Multimodal Object Detection in Remote Sensing [2.0528748158119434]
  マルチモーダル学習は、異なるデータモダリティの機能を統合するために使用することができ、それによって検出精度が向上する。 本稿では,事前学習手法としてMasked Image Modeling (MIM) を提案する。 そこで本稿では,リモートセンシングにおけるオブジェクト検出に特に有用である,異なるトークン間のインタラクションを確立するための対話型MIM手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T14:50:50Z)
• RS-Mamba for Large Remote Sensing Image Dense Prediction [58.12667617617306]
  本稿では,大規模なVHRリモートセンシング画像における高密度予測タスクに対するリモートセンシング・マンバ(RSM)を提案する。 RSMは、線形複雑度でリモートセンシング画像のグローバルなコンテキストを捉えるように設計されている。 我々のモデルは、大規模なリモートセンシング画像の変換器ベースモデルよりも効率と精度がよい。
  論文  参考訳（メタデータ） (2024-04-03T12:06:01Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations [103.00383924074585]
  視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。 変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。 RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
  論文  参考訳（メタデータ） (2020-09-10T16:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。