Fugu-MT 論文翻訳(概要): GRASP: Granularity-Aware Region Alignment and Semantic Prototype Learning for Fine-Grained Cross-Modal Understanding in Drone Views

論文の概要: GRASP: Granularity-Aware Region Alignment and Semantic Prototype Learning for Fine-Grained Cross-Modal Understanding in Drone Views

arxiv url: http://arxiv.org/abs/2608.09270v1
Date: Mon, 10 Aug 2026 08:26:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:37.148453
Title: GRASP: Granularity-Aware Region Alignment and Semantic Prototype Learning for Fine-Grained Cross-Modal Understanding in Drone Views
Title（参考訳）: GRASP: ドローンビューにおける細粒度クロスモーダル理解のための粒度認識領域アライメントと意味的プロトタイプ学習
Abstract要約: 微粒なクロスモーダル理解は、空中視覚言語ナビゲーションに不可欠である。マクロレベルでは、視覚的表現における圧倒的な背景の乱雑さは、クロスモーダルフォーカスの修正につながる。視覚的同型は曖昧さを生じさせ、候補者は類似した幾何学的構造を共有するが、微妙な属性でのみ異なる。
参考スコア（独自算出の注目度）: 12.957721462609491
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fine-grained cross-modal understanding in drone views is essential for aerial vision-language navigation. However, the inherent wide field of view and overhead perspective of drone scenarios impose dual challenges on vision-language understanding. At the macro level, overwhelming background clutter in visual representations leads to Cross-Modal Focus Misalignment, where the model prioritizes global environmental similarities over specific object details. At the micro level, Visual Isomorphism creates ambiguity, where candidates share similar geometric structures yet differ only in subtle attributes. To address these challenges, we propose the Granularity-Aware Region Alignment and Semantic Prototype (GRASP) learning framework, enhancing discriminative capability through two synergistic strategies. Specifically, we introduce Region-Focused Alignment (RFA) to promote object-centric cross-modal alignment while suppressing background interference. Concurrently, to tackle visual isomorphism, we propose Semantic Perturbation Enhanced Matching (SPEM), which leverages a foreground-purified Semantic Prototype Codebook (SPC) to construct semantically perturbed negatives for fine-grained semantic discrimination. Extensive experiments on the GeoText-1652 benchmark and the unseen ERA dataset demonstrate that GRASP achieves competitive performance in drone-view fine-grained image-text retrieval, validating its effectiveness for cross-modal understanding in aerial scenarios. Our code implementation is available at https://github.com/UCAS-JC/GRASP.
Abstract（参考訳）: ドローンの視界における微粒なクロスモーダルな理解は、空中視覚言語ナビゲーションに不可欠である。しかし、ドローンシナリオの視野とオーバーヘッドの観点は、視覚言語理解に二重の課題を課している。マクロレベルでは、視覚的表現における圧倒的な背景の乱れは、特定のオブジェクトの詳細よりも地球環境の類似性を優先するクロスモーダル・フォーカス・ミスアライメントに繋がる。マイクロレベルでは、視覚同型は曖昧さを生じさせ、候補者は類似した幾何学的構造を共有するが、微妙な属性でのみ異なる。これらの課題に対処するために,グラニュラリティ対応地域アライメントとセマンティックプロトタイプ(GRASP)学習フレームワークを提案する。具体的には、背景干渉を抑制しながら、対象中心のクロスモーダルアライメントを促進するために、RFA(Rerea-Focused Alignment)を導入する。同時に、視覚的同型化に取り組むために、前景精製されたセマンティックプロトタイプコードブック(SPC)を活用して、セマンティック・摂動強化マッチング(SPEM)を提案し、セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティックス(SPC)を構築した。 GeoText-1652ベンチマークと未確認のERAデータセットの大規模な実験は、GRASPがドローンビューのきめ細かい画像テキスト検索において競争性能を達成し、空中シナリオにおけるクロスモーダル理解の有効性を検証していることを示している。私たちのコード実装はhttps://github.com/UCAS-JC/GRASP.orgで公開されています。

関連論文リスト

OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文参考訳（メタデータ） (2026-05-26T00:08:06Z)
LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition [51.70817823155725]
顔表情認識のための視覚言語強化型ランドマーク誘導型コントラスト学習ネットワーク(FER)を提案する。 LaCoVL-FERは、顔のランドマークと視覚言語モデルからのセマンティックな事前情報を統合する。実験により、LaCoVL-FERは3つの代表的な実世界のFERデータセット上で最先端のメソッドより優れていることが示された。
論文参考訳（メタデータ） (2026-05-19T13:15:41Z)
Geospatial-Reasoning-Driven Vocabulary-Agnostic Remote Sensing Semantic Segmentation [13.743073097114461]
オープンボキャブラリセマンティックセグメンテーションはリモートセンシングにおける有望な研究方向として浮上している。本研究では,Geospatial Reasoning Chain-of-Thought(GR-CoT)フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-09T02:09:21Z)
Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
論文参考訳（メタデータ） (2026-01-20T11:59:19Z)
Background Matters Too: A Language-Enhanced Adversarial Framework for Person Re-Identification [1.409283414986451]
背景セマンティクスはReIDのフォアグラウンドセマンティクスと同じくらい重要であると我々は主張する。本稿では,フォアグラウンドと背景情報を協調的にモデル化するエンドツーエンドフレームワークを提案する。
論文参考訳（メタデータ） (2025-09-03T05:38:22Z)
Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
論文参考訳（メタデータ） (2025-08-24T15:45:22Z)
Scale-wise Bidirectional Alignment Network for Referring Remote Sensing Image Segmentation [12.893224628061516]
リモートセンシング画像セグメンテーション(RRSIS)の目的は、自然言語表現を用いて、空中画像内の特定のピクセルレベル領域を抽出することである。本稿では,これらの課題に対処するため,SBANet(Scale-wise Bidirectional Alignment Network)と呼ばれる革新的なフレームワークを提案する。提案手法は,RRSIS-DとRefSegRSのデータセットにおける従来の最先端手法と比較して,優れた性能を実現する。
論文参考訳（メタデータ） (2025-01-01T14:24:04Z)
Aligning and Prompting Everything All at Once for Universal Visual Perception [79.96124061108728]
APEは、さまざまなタスクを実行するために、すべてのことを一度に調整し、促す、普遍的な視覚知覚モデルである。 APEは、言語誘導接地をオープン語彙検出として再構成することで、検出と接地の収束を推し進める。 160以上のデータセットの実験では、APEが最先端のモデルより優れていることが示されている。
論文参考訳（メタデータ） (2023-12-04T18:59:50Z)
Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
論文参考訳（メタデータ） (2022-08-04T07:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。