Fugu-MT 論文翻訳(概要): Open-SAT: LLM-Guided Query Embedding Refinement for Open-Vocabulary Object Retrieval in Satellite Imagery

論文の概要: Open-SAT: LLM-Guided Query Embedding Refinement for Open-Vocabulary Object Retrieval in Satellite Imagery

arxiv url: http://arxiv.org/abs/2605.05344v1
Date: Wed, 06 May 2026 18:12:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-08 22:27:11.367197
Title: Open-SAT: LLM-Guided Query Embedding Refinement for Open-Vocabulary Object Retrieval in Satellite Imagery
Title（参考訳）: Open-SAT: LLM-Guided Query Embeddding Refinement for Open-Vocabulary Object Retrieval in Satellite Imagery (英語)
Abstract要約: サテライトアプリケーションでは、ユーザクエリは、あらかじめ定義されたカテゴリの固定セットを超えて、オープンエンド自然言語の形式をとることが多い。このオープンボキャブラリの性質は、検索システムが幅広い未知の物体や概念に一般化する必要があるため、関連する画像タイルの検索に重大な課題をもたらす。我々は,ユーザクエリと衛星画像コンテンツとの整合性を改善するために,推論時間で動作させる訓練不要なクエリ埋め込み改良アルゴリズムOpen-SATを提案する。
参考スコア（独自算出の注目度）: 7.393456222758506
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In satellite applications, user queries often take the form of open-ended natural language, extending beyond a fixed set of predefined categories. This open-vocabulary nature poses significant challenges for retrieving relevant image tiles, as the retrieval system must generalize to a wide range of unseen objects and concepts. While vision-language models (VLMs) such as CLIP are widely used for text-image retrieval, even fine-tuned variants often struggle to accurately align such queries with satellite imagery. To address this, we propose Open-SAT, a training-free query embedding refinement algorithm that operates at inference time to improve alignment between user queries and satellite image content. Open-SAT uses VLMs to compute embeddings for image tiles, which are stored in a vector database for efficient retrieval. At query time, it leverages Large Language Models (LLMs) to refine the text embeddings by incorporating contextual information about objects of interest and their surroundings. A threshold-free retrieval mechanism further enhances accuracy and efficiency. Experimental results in three public benchmarks demonstrate that Open-SAT improves the F1 score by up to 16.04%, while retrieving a comparable number of image tiles. These results demonstrate the effectiveness of Open-SAT in open-vocabulary satellite image retrieval, leveraging LLM guidance without the need for additional training or supervision.
Abstract（参考訳）: サテライトアプリケーションでは、ユーザクエリは、あらかじめ定義されたカテゴリの固定セットを超えて、オープンエンド自然言語の形式をとることが多い。このオープンボキャブラリの性質は、検索システムが幅広い未知の物体や概念に一般化する必要があるため、関連する画像タイルの検索に重大な課題をもたらす。 CLIPのような視覚言語モデル(VLM)はテキスト画像検索に広く使われているが、微調整のバリエーションでさえ衛星画像と正確に一致させるのに苦労することが多い。そこで本研究では,ユーザクエリと衛星画像コンテンツとのアライメントを改善するために,推論時間で動作するトレーニングフリーなクエリ埋め込み改良アルゴリズムOpen-SATを提案する。 Open-SATはVLMを使って画像タイルの埋め込みを計算し、効率的な検索のためにベクトルデータベースに格納する。クエリ時に、LLM(Large Language Models)を活用して、関心のあるオブジェクトとその周辺に関するコンテキスト情報を組み込むことで、テキストの埋め込みを洗練する。しきい値のない検索機構は、精度と効率をさらに向上させる。 3つの公開ベンチマーク実験の結果、Open-SATはF1スコアを最大16.04%改善し、同じ数の画像タイルを取得することを示した。これらの結果はオープンボキャブラリ衛星画像検索におけるOpen-SATの有効性を示し、追加のトレーニングや監督を必要とせずにLLMガイダンスを活用する。

関連論文リスト

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery [69.87589293875112]
無人航空機(UAV)は、タスク関連ターゲットのローカライズに視覚的な接地機能に依存している。既存の参照式理解ベンチマークとメソッドは、主にテキストのみのクエリと単一オブジェクトの出力に基づいて構築されている。本稿では,一般的なUAV参照タスクであるemphUniversal Referringを導入する。
論文参考訳（メタデータ） (2026-07-09T09:09:31Z)
LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement [40.36520318905935]
LightSTARは、視覚的な文書検索をキーワードと意味的にリッチな単語に分解する効率的なフレームワークである。 LightSTARは、エンドツーエンドのレイテンシを複数倍に削減しながら、最先端の検索精度を実現する。
論文参考訳（メタデータ） (2026-06-22T16:16:24Z)
Fine-Grained Zero-Shot Composed Image Retrieval with Complementary Visual-Semantic Integration [64.12127577975696]
ゼロショット合成画像検索(ZS-CIR)は急速に発展し,実用化が進んでいる分野である。既存のZS-CIR法は、細粒度の変化を捉え、視覚情報と意味情報を効果的に統合するのに苦労することが多い。補足型ビジュアルセマンティック統合を用いたファイングラインドゼロショット合成画像検索手法を提案する。
論文参考訳（メタデータ） (2026-01-20T15:17:14Z)
Referring Expression Instance Retrieval and A Strong End-to-End Baseline [37.47466772169063]
テキスト画像検索は、画像レベルの記述に基づいてギャラリーからターゲット画像を取得する。 Referring Expressionは、インスタンスレベルの記述を使用して、所定のイメージ内でターゲットオブジェクトをローカライズする。我々は、インスタンスレベルの検索とローカライゼーションの両方をサポートする textbfReferring Expression Instance Retrieval (REIR) という新しいタスクを導入する。
論文参考訳（メタデータ） (2025-06-23T02:28:44Z)
Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文参考訳（メタデータ） (2025-02-18T12:00:47Z)
Rethinking Sparse Lexical Representations for Image Retrieval in the Age of Rising Multi-Modal Large Language Models [2.3301643766310374]
視覚的プロンプトをサポートするマルチモーダル大言語モデル(M-LLM)を利用することで,画像の特徴を抽出し,テキストデータに変換する。従来の視覚言語モデルを用いた手法と比較して,画像検索手法の精度とリコール性能が優れていることを示す。また,検索クエリにキーワードを反復的に組み込むことにより,検索性能が向上することを示した。
論文参考訳（メタデータ） (2024-08-29T06:54:03Z)
CLIP-Branches: Interactive Fine-Tuning for Text-Image Retrieval [2.381261552604303]
CLIPアーキテクチャ上に構築された新しいテキストイメージ検索エンジンであるCLIP-Branchesを紹介する。本手法は,インタラクティブな微調整フェーズを組み込むことにより,従来のテキスト画像検索エンジンを強化する。この結果から, 微調整により, 検索結果の関連性や精度が向上することが示唆された。
論文参考訳（メタデータ） (2024-06-19T08:15:10Z)
Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
論文参考訳（メタデータ） (2024-03-03T07:58:03Z)
CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora [3.166549403591528]
本稿では,高速かつ効率的な画像検索のための2段階の粗度指数共有検索(CFIR)フレームワークを提案する。 CFIRは、Recall@1000で既存のMLLMを最大11.06%上回り、トレーニング時間と検索時間をそれぞれ68.75%、99.79%削減している。
論文参考訳（メタデータ） (2024-02-23T11:47:16Z)
LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors [58.75140338866403]
DVDetはディスクリプタ強化オープン語彙検出器である。局所埋め込みをイメージライクな表現に変換することで、一般的なオープンな語彙検出トレーニングに直接統合することができる。複数の大規模ベンチマークに対する大規模な実験により、DVDetは最先端技術よりも大きなマージンで一貫して優れていたことが示されている。
論文参考訳（メタデータ） (2024-02-07T07:26:49Z)
Description-Based Text Similarity [59.552704474862004]
我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文参考訳（メタデータ） (2023-05-21T17:14:31Z)
Open-Vocabulary DETR with Conditional Matching [86.1530128487077]
OV-DETRは、DETRに基づくオープンボキャブラリ検出器である。クラス名や模範画像が与えられた任意のオブジェクトを検出できる。芸術の現在の状態よりも、ささいな改善を達成している。
論文参考訳（メタデータ） (2022-03-22T16:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。