論文の概要: Autogenic Language Embedding for Coherent Point Tracking

• arxiv url: http://arxiv.org/abs/2407.20730v1
• Date: Tue, 30 Jul 2024 11:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:30:03.448541
• Title: Autogenic Language Embedding for Coherent Point Tracking
• Title（参考訳）: コヒーレントポイントトラッキングのための自動言語埋め込み
• Authors: Zikai Song, Ying Tang, Run Luo, Lintao Ma, Junqing Yu, Yi-Ping Phoebe Chen, Wei Yang,
• Abstract要約: 我々は,言語埋め込みを利用した新しいアプローチを導入し,同一オブジェクトに関連するフレーム単位の視覚的特徴のコヒーレンスを高める。 既存の視覚言語スキームとは異なり、本手法は専用のマッピングネットワークを通じて視覚的特徴からテキスト埋め込みを学習する。 提案手法は,映像中の軌跡の追跡精度を著しく向上させる。
• 参考スコア（独自算出の注目度）: 19.127052469203612
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Point tracking is a challenging task in computer vision, aiming to establish point-wise correspondence across long video sequences. Recent advancements have primarily focused on temporal modeling techniques to improve local feature similarity, often overlooking the valuable semantic consistency inherent in tracked points. In this paper, we introduce a novel approach leveraging language embeddings to enhance the coherence of frame-wise visual features related to the same object. Our proposed method, termed autogenic language embedding for visual feature enhancement, strengthens point correspondence in long-term sequences. Unlike existing visual-language schemes, our approach learns text embeddings from visual features through a dedicated mapping network, enabling seamless adaptation to various tracking tasks without explicit text annotations. Additionally, we introduce a consistency decoder that efficiently integrates text tokens into visual features with minimal computational overhead. Through enhanced visual consistency, our approach significantly improves tracking trajectories in lengthy videos with substantial appearance variations. Extensive experiments on widely-used tracking benchmarks demonstrate the superior performance of our method, showcasing notable enhancements compared to trackers relying solely on visual cues.
• Abstract（参考訳）: ポイントトラッキングはコンピュータビジョンにおいて困難な課題であり、長いビデオシーケンスにまたがるポイントワイド対応を確立することを目的としている。 最近の進歩は主に、局所的な特徴の類似性を改善するための時間的モデリング技術に焦点を当てており、しばしばトラックされた点に固有の価値ある意味的一貫性を見落としている。 本稿では,言語埋め込みを活用して,同一オブジェクトに関連するフレームワイド視覚特徴のコヒーレンスを高める手法を提案する。 視覚的特徴強調のための自動生成言語埋め込みと呼ばれる提案手法は,長期的シーケンスにおけるポイント対応を強化している。 既存の視覚言語スキームとは異なり,本手法では,視覚的特徴から専用のマッピングネットワークを通じてテキスト埋め込みを学習し,明示的なテキストアノテーションを使わずに,様々なトラッキングタスクへのシームレスな適応を可能にする。 さらに,テキストトークンを最小の計算オーバーヘッドで視覚的特徴に効率的に統合する整合デコーダを導入する。 視覚的整合性の向上により,映像中の軌跡の追跡精度が著しく向上し,外観に変化が生じた。 広範に使用されているトラッキングベンチマークの大規模な実験は,視覚的手がかりのみに依存するトラッカーと比較して,本手法の優れた性能を示す。

関連論文リスト

• Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning [2.401993998791928]
  本稿では、モダリティを接続するための軽量な視覚言語マッピングネットワークを訓練するフレームワークを提案する。 視覚的関連性やストーリー情報性も向上するマルチモーダルなコントラスト目標を提案する。
  論文  参考訳（メタデータ） (2024-08-12T16:15:32Z)
• GoMatching: A Simple Baseline for Video Text Spotting via Long and Short Term Matching [77.0306273129475]
  ビデオテキストスポッティングは、トラッキングを含むことで、さらなる課題を提示する。 GoMatchingは、強力な認識性能を維持しながら、トラッキングのトレーニングに重点を置いている。 GoMatchingは、ICDAR15ビデオ、DSText、BOVTextに新しいレコードを提供し、ArTVideoと呼ばれる任意の形のテキストを用いた新しいテストを提案しました。
  論文  参考訳（メタデータ） (2024-01-13T13:59:15Z)
• LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [52.131996528655094]
  本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。 LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。 これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
  論文  参考訳（メタデータ） (2024-01-03T18:57:27Z)
• Guiding Attention using Partial-Order Relationships for Image Captioning [2.620091916172863]
  誘導注意ネットワーク機構は、視覚シーンとテキスト記述の関係を利用する。 この埋め込み空間は、共有セマンティック空間における類似の画像、トピック、キャプションを許容する。 MSCOCOデータセットに基づく実験結果は,我々のアプローチの競争力を示している。
  論文  参考訳（メタデータ） (2022-04-15T14:22:09Z)
• Multi-modal Text Recognition Networks: Interactive Enhancements between Visual and Semantic Features [11.48760300147023]
  本稿では,MATRN(Multi-Almod Text Recognition Network)と呼ばれる新しい手法を提案する。 MATRNは視覚的特徴対と意味的特徴対を特定し、空間情報を意味的特徴にエンコードする。 実験の結果,MATRNは7つのベンチマークで最先端のパフォーマンスを達成できた。
  論文  参考訳（メタデータ） (2021-11-30T10:22:11Z)
• CLIP-Adapter: Better Vision-Language Models with Feature Adapters [79.52844563138493]
  即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。 本稿では,CLIP-Adapterを提案する。 様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-10-09T11:39:30Z)
• Video Annotation for Visual Tracking via Selection and Refinement [74.08109740917122]
  ビデオシーケンスのバウンディングボックスアノテーションを容易にするための新しいフレームワークを提案する。 目標位置の時間的コヒーレンスを捉えることのできる時間的アセスメントネットワークを提案する。 また、選択したトラッキング結果をさらに強化するために、ビジュアルジオメトリ・リファインメント・ネットワークが設計されている。
  論文  参考訳（メタデータ） (2021-08-09T05:56:47Z)
• Weakly Supervised Video Salient Object Detection [79.51227350937721]
  本稿では,relabeled relabeled "fixation guided scribble annotations" に基づく最初の弱教師付きビデオサリエント物体検出モデルを提案する。 効果的なマルチモーダル学習と長期時間文脈モデリングを実現するために,「アプレンス・モーション・フュージョン・モジュール」と双方向のConvLSTMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-06T09:48:38Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。