論文の概要: Exploiting Textual Semantics for Robust Cross-View Object Correspondence

• arxiv url: http://arxiv.org/abs/2611.02356v2
• Date: Tue, 03 Nov 2026 22:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.680318
• Title: Exploiting Textual Semantics for Robust Cross-View Object Correspondence
• Title（参考訳）: ロバストなクロスビューオブジェクト対応のためのテキストセマンティクスの爆発的生成
• Abstract要約: クロスビューオブジェクト対応(CVOC)は、検索ビデオと検索ビデオの同じターゲットの関連を確立することを目的としている。 我々は、その視覚的手がかりに加えて、オブジェクトのリッチテキストセマンティックスを利用するフレームワークTeSCoを紹介する。 Ego-Exo4D と HANDAL-X に関する広範な実験において、TeSCo は最先端の結果を示し、他のモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 19.125129049375975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-view object correspondence (CVOC) aims to establish associations of the same target between query and search videos captured from different viewpoints. Existing methods often rely on visual cues for CVOC. Despite recent progress, these methods struggle in complicated scenarios with substantial viewpoint changes and appearance variations, due to lacking sufficient target information. Addressing this, we introduce TeSCo, a framework that exploits rich Textual Semantics of an object, in addition to its visual cues, for cross-view object Correspondence. Our key insight is, textual description of a target, by capturing diverse attributes such as category, texture, and color, provides viewpoint- and appearance-invariant semantics, which are complementary to visual cues and can hence enhance correspondence robustness in complicated scenes. Inspired by this, TeSCo first generates a textual expression of the target from the given query view using a vision-language model, and then extracts textual feature to enhance visual features for localization in the search view. To realize this, we introduce a text-conditioned cross-modal fusion (TCF) module that incorporates the textual feature into visual features with text-guided modulation, producing more robust multimodal target representation for object correspondence. Since not all textual cues are equally compatible with the target in current search-view frame, we propose an iterative textual feature refinement (ITFR) module that progressively adjusts textual feature using search-view information before the TCF module, enabling search-view-aware textual semantics to be fused into visual features and leading to better performance. In extensive experiments on Ego-Exo4D and HANDAL-X, TeSCo demonstrates state-of-the-art results and largely outperforms other models, validating its efficacy. Our code is released at https://github.com/VAIL-Fan/TeSCo.
• Abstract（参考訳）: クロスビューオブジェクト対応(CVOC)は、異なる視点から捉えたクエリと検索ビデオの同一ターゲットの関連を確立することを目的としている。 既存の手法はしばしばCVOCの視覚的手がかりに依存している。 近年の進歩にもかかわらず、これらの手法は十分な目標情報がないため、かなりの視点の変化や外観の変化を伴う複雑なシナリオに苦しむ。 そこで我々は,オブジェクトのリッチテキストセマンティックスを活用するフレームワークTeSCoを紹介する。 我々の重要な洞察は、対象のテキスト記述において、カテゴリ、テクスチャ、色などの多様な属性をキャプチャすることで、視覚的手がかりと相補的であり、複雑な場面における調和性を高めることができる視点的および外見的不変のセマンティクスを提供することである。 このことにインスパイアされたTeSCoは、まず視覚言語モデルを用いて、与えられたクエリビューからターゲットのテキスト表現を生成し、その後、テキスト特徴を抽出して、検索ビューのローカライゼーションのための視覚的特徴を強化する。 これを実現するために、テキスト誘導変調によりテキスト特徴を視覚特徴に組み込んだテキスト条件のクロスモーダル融合(TCF)モジュールを導入し、オブジェクト対応のためのより堅牢なマルチモーダルターゲット表現を生成する。 全てのテキストキューが現在の検索ビューフレームのターゲットと等しく一致しているわけではないので、TCKモジュールの前に検索ビュー情報を用いてテキスト機能を段階的に調整し、検索ビュー対応のテキストセマンティクスを視覚的特徴に融合させ、より良いパフォーマンスを実現するための反復テキスト特徴改善(ITFR)モジュールを提案する。 Ego-Exo4D と HANDAL-X に関する広範な実験において、TeSCo は最先端の結果を示し、他のモデルよりも優れ、その有効性を検証する。 私たちのコードはhttps://github.com/VAIL-Fan/TeSCo.comで公開されています。

関連論文リスト

• VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
  VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。 VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T17:48:55Z)
• SAViL-Det: Semantic-Aware Vision-Language Model for Multi-Script Text Detection [4.013156524547072]
  本稿では,多文テキスト検出機能を備えた意味認識型視覚言語モデルSAViL-Detを紹介する。 提案フレームワークは,テキストプロンプトから視覚的特徴への微粒な意味情報を,モーダルな注意を通して適応的に伝達する。 挑戦的なベンチマークの実験では、提案手法の有効性が示されている。
  論文  参考訳（メタデータ） (2025-07-27T09:16:39Z)
• Visual Text Processing: A Comprehensive Review and Unified Evaluation [99.57846940547171]
  視覚テキスト処理における最近の進歩を包括的・多視点的に分析する。 本研究の目的は,視覚テキスト処理のダイナミックな分野における今後の探索と革新を促進する基礎資源として,本研究を確立することである。
  論文  参考訳（メタデータ） (2025-04-30T14:19:29Z)
• Vision-Aware Text Features in Referring Image Segmentation: From Object Understanding to Context Understanding [26.768147543628096]
  本稿では,人間の認知プロセスに触発された対象と文脈の理解を強調する新しい枠組みを提案する。 提案手法は,3つのベンチマークデータセットにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-12T16:38:48Z)
• VGSG: Vision-Guided Semantic-Group Network for Text-based Person Search [51.9899504535878]
  テキストに基づく人物検索のための視覚誘導セマンティック・グループ・ネットワーク(VGSG)を提案する。 VGSGでは、視覚関連テキストの特徴を抽出するために視覚誘導の注意が用いられる。 関係知識伝達の助けを借りて、VGKTは意味群テキスト特徴と対応する視覚特徴とを整合させることができる。
  論文  参考訳（メタデータ） (2023-11-13T17:56:54Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning [42.29650807349636]
  正確な視覚的接地のためのトランスフォーマーベースのフレームワークを提案する。 テキスト記述に関連する領域に視覚的特徴を集中させる視覚言語検証モジュールを開発した。 言語誘導型特徴エンコーダは、対象オブジェクトの視覚的コンテキストを集約して、オブジェクトの特異性を改善するように設計されている。
  論文  参考訳（メタデータ） (2022-04-30T13:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。