論文の概要: GAAT: Geometry-Aware Alignment Transformer for Multimodal UAV Perception

• arxiv url: http://arxiv.org/abs/2608.27971v1
• Date: Fri, 28 Aug 2026 06:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.227727
• Title: GAAT: Geometry-Aware Alignment Transformer for Multimodal UAV Perception
• Title（参考訳）: GAAT:マルチモーダルUAV知覚のための幾何学的アライメント変換器
• Abstract要約: 無人航空機(UAV)のマルチモーダル認識は、可視光(RGB)、赤外線(IR)、合成開口レーダー(SAR)、様々な条件下でのシーン理解のための深度センサーを統合している。 本稿では,モーダル間相互作用前の局所対応信頼性を推定するアライメントファースト事前学習モデルGAATを提案する。 UAVMetaとStateBenchは,プラットフォームテレメトリと画像統計から得られる4つの取得状態スコアを提供する。
• 参考スコア（独自算出の注目度）: 7.90322991085067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unmanned aerial vehicle (UAV) multimodal perception integrates visible (RGB), infrared (IR), synthetic aperture radar (SAR), and depth sensors for scene understanding under diverse conditions. However, differences in optics, resolution, and mounting often limit practical systems to global or image-center alignment. After tokenization, parallax, platform motion, and lens distortion can shift corresponding patch centers across modalities, weakening the spatial correspondence assumed by dense contrastive learning and cross-modal fusion. We propose GAAT (Geometry-Aware Alignment Transformer), an alignment-first pretrained model that estimates local correspondence reliability before cross-modal interaction. GAAT introduces syncPATC, which learns patch-center consistency under synchronized view transformations without correspondence annotations. It emits geometric priors, including token and query confidence, query centers, and sub-token offsets, that identify reliable local anchors across residual misalignment. Guided by these priors, MG-Sparse-MMA performs query-mediated sparse fusion over top-K_s reliable regions, replacing dense all-patch interaction with geometry-calibrated local updates. RA-QCGCL aligns pretraining supervision with this sparse query bottleneck through reliable patch-to-patch, patch-to-query, and query-to-query contrastive branches. We introduce UAVMeta and StateBench, which provide four acquisition-state scores derived from platform telemetry and image statistics: camera reliability, observation scale, viewpoint stability, and flight maneuver complexity. Extensive experiments across six downstream tasks demonstrate consistently superior transfer performance, establishing GAAT as a state-of-the-art multimodal foundation model for UAV perception. StateBench further enables a systematic diagnosis of real-world acquisition conditions.
• Abstract（参考訳）: 無人航空機(UAV)のマルチモーダル認識は、可視光(RGB)、赤外線(IR)、合成開口レーダー(SAR)、様々な条件下でのシーン理解のための深度センサーを統合している。 しかし、光学、解像度、実装の違いは、実際的なシステムをグローバルまたはイメージ中心のアライメントに制限することが多い。 トークン化後、パララックス、プラットフォーム運動、レンズ歪みは、高密度のコントラスト学習とクロスモーダル融合によって仮定される空間対応を弱めることができる。 本稿では,モーダル間相互作用前の局所対応信頼性を推定するアライメントファースト事前学習モデルGAATを提案する。 GAATはsyncPATCを導入し、同期化されたビュー変換の下で、対応アノテーションなしでパッチ中心の一貫性を学習する。 トークンやクエリの信頼性、クエリセンタ、サブトークンオフセットなどの幾何学的な事前情報を出力し、残余のミスアライメントをまたいだ信頼性の高いローカルアンカーを識別する。 これらの先行技術により、MG-Sparse-MMAは、上位K_s信頼領域上でクエリによるスパース融合を実行し、密集した全パッチインタラクションと幾何キャリブレーションされたローカル更新を置き換える。 RA-QCGCLは、信頼性の高いパッチ・ツー・パッチ、パッチ・ツー・クエリ、クエリ・ツー・クエリのコントラストブランチを通じて、このスパースクエリ・ボトルネックと事前トレーニングの監視を整合させる。 UAVMetaとStateBenchは、プラットフォームテレメトリと画像統計から得られる4つの取得状態スコア(カメラの信頼性、観測スケール、視点安定性、飛行操作の複雑さ)を提供する。 6つの下流タスクにわたる大規模な実験は、一貫して優れた転送性能を示し、UAV知覚のための最先端のマルチモーダル基盤モデルとしてGAATを確立した。 StateBenchはさらに、実世界の取得条件の体系的な診断を可能にする。

関連論文リスト

• Bridging Severe Cross-Modal Misalignment: End-to-End Visible-Infrared Object Detection via Explicit Feature-Domain Affine Registration [17.74037850404483]
  そこで本研究では,極端から端へ可視光を指向する物体検出器を提案する。 提案されたJFRDetは、DroneVehicle Misaligned (DVMA)上で69.7%$mathrmmAP_50$を達成する。
  論文  参考訳（メタデータ） (2026-08-11T09:02:37Z)
• FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales [65.4821703903285]
  FLOROは、小さなが高度に多様なリモートセンシングコーパスから転送可能な表現を学習するために設計されたマルチモーダル基礎モデルである。 FLOROは、Sentinel-1、Sentinel-2、SkySAT画像、標高、UAV由来のデータとの不均一な組み合わせによるマスク付きオートエンコーディングを用いて事前訓練される。 我々は、シーン分類、セグメンテーション、回帰タスクにまたがる凍結エンコーダプロトコルを用いて、PANGAEAベンチマーク上でFLOROを評価した。
  論文  参考訳（メタデータ） (2026-05-27T08:55:54Z)
• CT-VIR: Continuous-Time Visual-Inertial-Ranging Fusion for Indoor Localization with Sparse Anchors [8.090575303185078]
  本稿では,視覚慣性配列(VIR)融合ローカライゼーションのための連続時間状態推定法を提案する。 イントロダクタ、ビジュアル、およびレンジリング制約は、スライドウインドウグラフの因子として定式化される。 パブリックデータセットと実世界の実験による評価は,提案手法の有効性と実用性を示すものである。
  論文  参考訳（メタデータ） (2026-04-16T02:23:57Z)
• Unifying UAV Cross-View Geo-Localization via 3D Geometric Perception [51.687842983240564]
  無人航空機(UAV)のクロスビューな地上局地化は、斜めのUAV画像と衛星地図との厳密な幾何学的相違により、いまだに困難である。 本稿では,3次元シーン形状を明示的にモデル化し,粗い位置認識ときめ細かなポーズ推定を統一する,幾何認識型UAV測位フレームワークを提案する。 提案手法は, 最先端のベースラインを著しく上回り, ロバストメータレベルのローカライゼーション精度を実現し, 複雑な都市環境における一般化を向上する。
  論文  参考訳（メタデータ） (2026-04-02T08:08:41Z)
• VFM-Loc: Zero-Shot Cross-View Geo-Localization via Aligning Discriminative Visual Hierarchies [5.868908918033978]
  リモートセンシングにおけるCross-View Geo-Localization (CVGL) は、ジオタグ付き衛星画像とマッチングすることで、ドローンビュークエリを見つけることを目的としている。 視覚基礎モデル(VFM)から一般化可能な視覚表現を利用するゼロショットCVGLのためのトレーニングフリーフレームワークであるVFM-Locを提案する。 実験により、VFM-Locは標準ベンチマークで強いゼロショット精度を示し、大きな斜角角を持つ挑戦的なLO-UCVデータセット上で、Recall@1で教師付きメソッドを20%以上超えることが示されている。
  論文  参考訳（メタデータ） (2026-03-14T09:23:59Z)
• IoUCert: Robustness Verification for Anchor-based Object Detectors [58.35703549470485]
  IoUCertは、アンカーベースのオブジェクト検出アーキテクチャにおいて、これらのボトルネックを克服するために設計された、新しい形式的検証フレームワークである。 本手法は, SSD, YOLOv2, YOLOv3など, 現実的なアンカーベースモデルの各種入力摂動に対するロバスト性検証を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T14:36:46Z)
• Distributed and Consistent Multi-Robot Visual-Inertial-Ranging Odometry on Lie Groups [1.2247984232203188]
  本稿では、複数のロボット間でVIOとUWBの測定を密に融合させる分散視覚慣性測度(DC-VIRO)フレームワークを提案する。 リー群上の右不変誤差定式化を利用して、提案手法は標準VIOの可観測性を保存する。
  論文  参考訳（メタデータ） (2026-02-22T13:07:50Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• GSAlign: Geometric and Semantic Alignment Network for Aerial-Ground Person Re-Identification [32.31970656501684]
  Aerial-Ground person re-identification (AG-ReID) は、歩行者のイメージを根本的に異なる視点からマッチングすることを目的とした、新たな課題である。 この課題は、極端に視点のずれ、ワープ、空中画像と地上画像の間の領域ギャップのために重大な課題を生じさせる。
  論文  参考訳（メタデータ） (2025-10-25T12:16:10Z)
• Loc$^2$: Interpretable Cross-View Localization via Depth-Lifted Local Feature Matching [80.57282092735991]
  本稿では,高精度かつ解釈可能なクロスビューローカライズ手法を提案する。 地上画像の3自由度(DoF)のポーズを、その局所的な特徴と基準空中画像とをマッチングすることによって推定する。 実験では、クロスエリアテストや未知の向きといった挑戦的なシナリオにおいて、最先端の精度を示す。
  論文  参考訳（メタデータ） (2025-09-11T18:52:16Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。