論文の概要: Lens: Training-Free Semantic Search for Cross-Tile Object and Scene Retrieval in Satellite Imagery
- arxiv url: http://arxiv.org/abs/2611.18251v1
- Date: Fri, 13 Nov 2026 14:48:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:17.981705
- Title: Lens: Training-Free Semantic Search for Cross-Tile Object and Scene Retrieval in Satellite Imagery
- Title(参考訳): レンズ:衛星画像におけるクロスタイルオブジェクトとシーン検索のためのトレーニングフリーセマンティック検索
- Abstract要約: セマンティックオブジェクトとシーン検索のためのトレーニング不要システムを開発した。
レンズは、凍結した自己監督型視覚変換器で各タイルを表現している。
Lensは、中心となるパッチ機能をバイト量子化類似度インデックスに格納する。
- 参考スコア(独自算出の注目度): 0.11666234644810891
- License:
- Abstract: We developed Lens, a training-free system for semantic object and scene search across large satellite mosaics that requires no detector trained for the class of interest. Lens represents each tile with a frozen, self-supervised vision transformer (DINOv3), removes the positional bias in its dense features by projecting them onto the subspace orthogonal to a positional basis estimated once from a constant image, and centers the debiased features on the mean feature computed across the whole area before comparison. Lens forms a query by averaging the centered features of a small neighborhood of patches around a chosen point, or of an entire tile for scene-level search, and matches it against the index by cosine similarity. It stores the centered patch features in a byte-quantized similarity index that supports real-time range search over a mosaic of thousands of patches, and a coarser whole-tile embedding index for scene-level retrieval. A guided upsampling network (AnyUp) runs once per tile to recover pixel-accurate boundaries beyond the native feature grid, and the result is cached so later queries reuse it. We evaluated Lens on the 5,128-tile DFC2020 test set and ran it as an interactive tool on five Sentinel-2 areas spanning agricultural, industrial, and desert terrain; the pipeline is not tied to a specific sensor. On DFC2020 a single click reaches 0.09 to 0.80 pixel F1 across eight land-cover classes at the per-class best threshold, with a mean F1 of 0.39, and it beats a pairwise INSID3 baseline on six of the eight classes at roughly four hundred times lower query cost. Indexing 1.31 million patches takes 169 s on one CPU thread, and a click returns a rendered overlay in 6 to 10 ms.
- Abstract(参考訳): 我々はLensを開発した。Lensは大規模な衛星モザイクを横断するセマンティックオブジェクトとシーンサーチのための訓練不要システムであり、興味のあるクラスのために訓練された検出器を必要としない。
レンズは、凍結自己監督型視覚変換器(DINOv3)で各タイルを表現し、一定画像から一度推定された位置ベースに直交する部分空間に投影することにより、その密集した特徴の位置バイアスを除去し、比較前の領域全体で計算された平均特徴に偏りのある特徴を集中させる。
Lensは、選択された点の周りの小さな近傍のパッチや、シーンレベルの検索のためのタイル全体の中心的な特徴を平均化してクエリを生成し、コサイン類似性によってインデックスと照合する。
中心となるパッチ機能はバイト量子化された類似度インデックスに格納され、数千のパッチのモザイクをリアルタイムに検索できる。
ガイド付きアップサンプリングネットワーク(AnyUp)は、1タイルあたり1回実行され、ネイティブ機能グリッド以外のピクセル・正確な境界を回復し、結果がキャッシュされるので、後でクエリがそれを再利用する。
我々は5,128タイルのDFC2020テストセットでLensを評価し、農業、工業、砂漠の地形にまたがる5つのSentinel-2エリアで対話的なツールとして運用した。
DFC2020では、シングルクリックはクラスごとの最高閾値で8つのランドカバークラスで0.09から0.80ピクセルF1に達し、平均F1は0.39であり、クエリコストの約400倍のコストで8つのクラスのうち6つのクラスのINSID3ベースラインをペアワイズする。
1.31万のパッチをインデックス化するには、1つのCPUスレッドで169秒かかり、クリックすると6から10ミリ秒のオーバーレイが返される。
関連論文リスト
- High-fidelity training-free photovoltaic module mapping from multi-view UAV imagery [13.133937727850928]
高忠実光電圧(PV)モジュールマッピングは、完全なインスタンス回復と正確なデライン化を必要とする。
本稿では,無人航空機 (UAV) による学習自由フレームワーク結合視覚基盤モデルであるMulti-View PV Module Mapper (MV-PVMapper) を提案する。
論文 参考訳(メタデータ) (2026-11-03T16:14:16Z) - MajorTOM:Elliot Pretrain, A Multi-Sensor, Multi-Temporal Pretraining Dataset for Earth Observation [8.698049583442321]
MajorTOM:Elliot Pretrainは、AlphaEarthの埋め込みをクラスタリングすることによって、Major-TOMグリッドから10kmのタイル279,166点のコレクションである。
それぞれのタイルスタックは、1056x1056ピクセル、10mグリッドでSentinel-2 L1C、Landsat-8/9、Sentinel-1 RTC、Copernicus DEM、ESA WorldCoverを共有している。
コンパニオンライブラリは、これらのレイヤから、センサータグ付きファクトシート、キャプション、16ファミリーの視覚言語タスクをロード時に導出する。
論文 参考訳(メタデータ) (2026-10-13T16:03:15Z) - Self-Calibrating Dense Displacement Fields for Reliable Co-Registration of Large Optical Satellite Imagery [4.730120849611304]
共同登録は、光学衛星画像の時間・マルチセンサー利用のほぼすべての基盤となる。
SCDF, トレーニング不要なGPUフリーな推定器で, 動きモデル自体が画素あたりの高密度変位場である。
実際のSentinel Landsat-8/9とNAIP画像から構築された584基の地上トラスペアでは、SCDFは故障のない全てのペアを登録する。
論文 参考訳(メタデータ) (2026-08-23T08:50:59Z) - MLMT-CNN for Object Detection and Segmentation in Multi-layer and Multi-spectral Images [4.2623421577291225]
画像バンド間の依存関係を利用して3次元ARローカライゼーションを生成するマルチタスク深層学習フレームワークを提案する。
我々のフレームワークは、すべてのモードで平均0.72 IoUと0.90 F1スコアを達成する。
論文 参考訳(メタデータ) (2024-07-19T17:21:53Z) - SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation [91.91385816767057]
オープンボキャブラリセマンティックセグメンテーションは、ピクセルをオープンなカテゴリの集合から異なるセマンティックグループに区別する試みである。
オープン語彙セマンティックセグメンテーションのための単純なエンコーダデコーダSEDを提案する。
SED法では、ADE20KではmIoUスコアが31.6%、A6000では画像あたり82ミリ秒(ms$)のカテゴリが150である。
論文 参考訳(メタデータ) (2023-11-27T05:00:38Z) - Streamlined Lensed Quasar Identification in Multiband Images via
Ensemble Networks [34.82692226532414]
強いレンズを経験するクエーサーは、宇宙膨張速度、暗黒物質、およびクエーサーホスト銀河に関連する主題に独自の視点を与える。
我々は,現実的な銀河・クエーサーレンズシミュレーションに基づいて訓練された最先端畳み込みネットワーク(CNN)を組み込むことにより,新しいアプローチを開発した。
我々は親標本として約6000万個の情報源を検索し、光度測定によるクエーサーを$theta_mathrmE5$arcsecのEinstein radiiで発見した後、これを892,609個に減らした。
論文 参考訳(メタデータ) (2023-07-03T15:09:10Z) - Fewer is More: Efficient Object Detection in Large Aerial Images [59.683235514193505]
本稿では,検出者がより少ないパッチに注目するのに対して,より効率的な推論とより正確な結果を得るのに役立つObjectness Activation Network(OAN)を提案する。
OANを用いて、5つの検出器は3つの大規模な空中画像データセットで30.0%以上のスピードアップを取得する。
我々はOANをドライブシーン物体検出と4Kビデオ物体検出に拡張し,検出速度をそれぞれ112.1%,75.0%向上させた。
論文 参考訳(メタデータ) (2022-12-26T12:49:47Z) - Beyond Cross-view Image Retrieval: Highly Accurate Vehicle Localization
Using Satellite Image [91.29546868637911]
本稿では,地上画像と架空衛星地図とをマッチングすることにより,車載カメラのローカライゼーションの問題に対処する。
鍵となる考え方は、タスクをポーズ推定として定式化し、ニューラルネットベースの最適化によってそれを解くことである。
標準自動運転車のローカライゼーションデータセットの実験により,提案手法の優位性が確認された。
論文 参考訳(メタデータ) (2022-04-10T19:16:58Z) - R-FCN: Object Detection via Region-based Fully Convolutional Networks [87.62557357527861]
我々は,高精度かつ効率的な物体検出のための領域ベースの完全畳み込みネットワークを提案する。
我々の結果は、Faster R-CNNよりも2.5-20倍高速で、1画像あたり170msのテストタイムで達成される。
論文 参考訳(メタデータ) (2016-05-20T15:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。