論文の概要: AlignJEPA: Predictive Vision-Language Alignment for Remote Sensing Foundation Models
- arxiv url: http://arxiv.org/abs/2608.15456v1
- Date: Sun, 16 Aug 2026 00:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.312387
- Title: AlignJEPA: Predictive Vision-Language Alignment for Remote Sensing Foundation Models
- Title（参考訳）: AlignJEPA: リモートセンシングファウンデーションモデルのための予測ビジョンランゲージアライメント
- Abstract要約: AlignJEPAはJEPAにインスパイアされたリモートセンシング基盤モデルのための予測視覚言語アライメントフレームワークである。
自然言語センサ検索のためのBigEarthNet.txt上でAlignJEPAを訓練・評価し、RSICD上でのクロスデータセット適応を評価し、RSVQAをクローズドセット表現プローブとしてのみ使用する。
- 参考スコア（独自算出の注目度）: 17.02495765712523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing (RS) foundation models provide transferable Earth observation representations across sensors, resolutions, and geographies, yet most remain weakly aligned with natural language, limiting natural-language archive search, image-text retrieval, and question-conditioned analysis. We propose AlignJEPA, a JEPA-inspired predictive vision-language alignment framework for remote sensing foundation models. AlignJEPA uses a pretrained AnySat visual encoder and a RemoteCLIP text encoder while training only a lightweight predictive alignment network. Instead of relying on global image--text contrastive alignment alone, the framework predicts remote-sensing text embeddings from masked visual foundation-model tokens. Its mask-aware multi-scale predictive aligner aggregates visible tokens at fine, regional, and global scales, jointly models them with a cross-scale Transformer, and projects the resulting representation into the text space using learned query pooling. Training combines semantic prediction with bidirectional contrastive retrieval. We train and evaluate AlignJEPA on BigEarthNet.txt for natural-language Sentinel retrieval, evaluate cross-dataset adaptation on RSICD, and use RSVQA only as a closed-set representation probe. AlignJEPA provides a parameter-efficient route for aligning Earth observation foundation models with language.
- Abstract（参考訳）: リモートセンシング(RS)基盤モデルは、センサー、解像度、地理をまたいだ移動可能な地球観測表現を提供するが、多くは自然言語との整合性に乏しいままであり、自然言語アーカイブ検索、画像テキスト検索、質問条件解析を制限している。
本稿では,JEPAにインスパイアされたリモートセンシング基盤モデルのための予測視覚言語アライメントフレームワークAlignJEPAを提案する。
AlignJEPAは、トレーニング済みのAnySatビジュアルエンコーダとRemoteCLIPテキストエンコーダを使用し、軽量な予測アライメントネットワークのみをトレーニングする。
このフレームワークは、グローバルな画像とテキストのコントラッシブなアライメントのみに頼るのではなく、マスク付きビジュアルファンデーションモデルトークンからリモートセンシングテキストの埋め込みを予測する。
マスクを意識したマルチスケール予測整合器は、細部、地域、グローバルスケールで可視トークンを集約し、それらをクロススケールトランスフォーマーと共同でモデル化し、学習したクエリプーリングを使用して結果の表現をテキスト空間に投影する。
トレーニングは、意味予測と双方向のコントラスト検索を組み合わせる。
自然言語センサ検索のためのBigEarthNet.txt上でAlignJEPAを訓練・評価し、RSICD上でのクロスデータセット適応を評価し、RSVQAをクローズドセット表現プローブとしてのみ使用する。
AlignJEPAは、地球観測基盤モデルを言語と整合させるためのパラメータ効率のよい経路を提供する。
関連論文リスト
- One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。
本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。
SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
論文 参考訳（メタデータ） (2026-07-30T09:17:48Z) - ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳（メタデータ） (2026-06-27T13:50:39Z) - FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales [65.4821703903285]
FLOROは、小さなが高度に多様なリモートセンシングコーパスから転送可能な表現を学習するために設計されたマルチモーダル基礎モデルである。
FLOROは、Sentinel-1、Sentinel-2、SkySAT画像、標高、UAV由来のデータとの不均一な組み合わせによるマスク付きオートエンコーディングを用いて事前訓練される。
我々は、シーン分類、セグメンテーション、回帰タスクにまたがる凍結エンコーダプロトコルを用いて、PANGAEAベンチマーク上でFLOROを評価した。
論文 参考訳（メタデータ） (2026-05-27T08:55:54Z) - ProVG: Progressive Visual Grounding via Language Decoupling for Remote Sensing Imagery [20.725910735285762]
リモートセンシングビジュアルグラウンドティングは、自然言語表現によるリモートセンシング画像中のオブジェクトのローカライズを目的としている。
言語表現をグローバルな文脈,空間関係,オブジェクト属性に分解することで,局所化の精度を向上させる新しいRSVGフレームワークである textbfProVG を提案する。
ProVGは既存のメソッドを一貫して上回り、新しい最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-04-02T10:59:19Z) - Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文 参考訳（メタデータ） (2026-03-02T11:38:12Z) - Semantically Aware UAV Landing Site Assessment from Remote Sensing Imagery via Multimodal Large Language Models [5.987458168544856]
安全UAV緊急着陸には、従来の幾何学的センサーに見えない複雑なセマンティックなリスクを理解する必要がある。
本稿では,リモートセンシング(RS)画像とマルチモーダル大規模言語モデル(MLLM)を併用した新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-01T11:30:03Z) - Loc$^2$: Interpretable Cross-View Localization via Depth-Lifted Local Feature Matching [80.57282092735991]
本稿では,高精度かつ解釈可能なクロスビューローカライズ手法を提案する。
地上画像の3自由度(DoF)のポーズを、その局所的な特徴と基準空中画像とをマッチングすることによって推定する。
実験では、クロスエリアテストや未知の向きといった挑戦的なシナリオにおいて、最先端の精度を示す。
論文 参考訳（メタデータ） (2025-09-11T18:52:16Z) - Language Driven Occupancy Prediction [13.35971455725581]
オープン語彙占有予測のための効果的で一般化可能なフレームワークであるLOccを紹介する。
私たちのパイプラインは、画像の貴重な意味情報を掘り下げ、画像からテキストラベルをLiDARポイントクラウドに、最終的にはボクセルに転送する、実現可能な方法を提供します。
教師付き占有モデルの当初の予測ヘッドを二進的占有状態のための幾何学ヘッドと言語特徴のための言語ヘッドに置き換えることで、LOccは生成された言語基底真実を効果的に利用して、3D言語ボリュームの学習をガイドする。
論文 参考訳（メタデータ） (2024-11-25T03:47:10Z) - Enhancing JEPAs with Spatial Conditioning: Robust and Efficient Representation Learning [7.083341587100975]
Image-based Joint-Embedding Predictive Architecture (IJEPA)は、Masked Autoencoder (MAE)に代わる魅力的な代替手段を提供する。
IJEPAは表現を駆動し、入力空間ではなく潜在領域で予測することで有用な意味情報をキャプチャする。
我々の"条件付き"エンコーダは、いくつかの画像分類ベンチマークデータセットのパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-10-14T17:46:24Z) - YORO -- Lightweight End to End Visual Grounding [58.17659561501071]
YOROは、Visual Grounding (VG)タスクのためのマルチモーダルトランスフォーマーエンコーダのみのアーキテクチャである。
自然言語クエリ、イメージパッチ、学習可能な検出トークンを消費し、参照対象の座標を予測する。
YOROはリアルタイム推論をサポートし、このクラスのすべてのアプローチ(単一段階法)を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2022-11-15T05:34:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。