論文の概要: Multi-Pair Temporal Sentence Grounding via Multi-Thread Knowledge Transfer Network

• arxiv url: http://arxiv.org/abs/2412.15678v1
• Date: Fri, 20 Dec 2024 08:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:23:55.472242
• Title: Multi-Pair Temporal Sentence Grounding via Multi-Thread Knowledge Transfer Network
• Title（参考訳）: マルチスレッド知識伝達ネットワークによる複数ペア時間文のグラウンド化
• Authors: Xiang Fang, Wanlong Fang, Changshuo Wang, Daizong Liu, Keke Tang, Jianfeng Dong, Pan Zhou, Beibei Li,
• Abstract要約: 時間文グラウンドディング(TSG)は、ビデオ中のクエリ関連セグメントを見つけることを目的としている。 従来のメソッドは、異なるペアを一緒にトレーニングできないシングルスレッドフレームワークに従っていた。 我々はこれらのペアを協調訓練することを目的としたMulti-Pair TSGを提案する。
• 参考スコア（独自算出の注目度）: 57.72095897427665
• License:
• Abstract: Given some video-query pairs with untrimmed videos and sentence queries, temporal sentence grounding (TSG) aims to locate query-relevant segments in these videos. Although previous respectable TSG methods have achieved remarkable success, they train each video-query pair separately and ignore the relationship between different pairs. We observe that the similar video/query content not only helps the TSG model better understand and generalize the cross-modal representation but also assists the model in locating some complex video-query pairs. Previous methods follow a single-thread framework that cannot co-train different pairs and usually spends much time re-obtaining redundant knowledge, limiting their real-world applications. To this end, in this paper, we pose a brand-new setting: Multi-Pair TSG, which aims to co-train these pairs. In particular, we propose a novel video-query co-training approach, Multi-Thread Knowledge Transfer Network, to locate a variety of video-query pairs effectively and efficiently. Firstly, we mine the spatial and temporal semantics across different queries to cooperate with each other. To learn intra- and inter-modal representations simultaneously, we design a cross-modal contrast module to explore the semantic consistency by a self-supervised strategy. To fully align visual and textual representations between different pairs, we design a prototype alignment strategy to 1) match object prototypes and phrase prototypes for spatial alignment, and 2) align activity prototypes and sentence prototypes for temporal alignment. Finally, we develop an adaptive negative selection module to adaptively generate a threshold for cross-modal matching. Extensive experiments show the effectiveness and efficiency of our proposed method.
• Abstract（参考訳）: ビデオクエリと、トリミングされていないビデオと文クエリのペアが与えられた場合、時間文グラウンド(TSG)は、これらのビデオ内のクエリ関連セグメントを見つけることを目的としている。 従来の優れたTSG手法は顕著な成功を収めたが、各ビデオクエリーペアを個別に訓練し、異なるペア間の関係を無視する。 同様のビデオ/クエリのコンテンツは、TSGモデルがクロスモーダル表現をよりよく理解し、一般化するのに役立つだけでなく、複雑なビデオ/クエリのペアを見つけるのにも役立ちます。 従来のメソッドは、異なるペアを一緒にトレーニングできないシングルスレッドフレームワークに従い、通常、冗長な知識を再取得し、現実のアプリケーションを制限するために多くの時間を費やします。 そこで本論文では,これらのペアを協調訓練することを目的とした,新たな設定であるマルチペアTSGを提案する。 特に,マルチスレッド知識伝達ネットワーク(Multi-Thread Knowledge Transfer Network)を提案する。 まず、異なるクエリにまたがる空間的意味と時間的意味を抽出し、互いに協調する。 モーダル内およびモーダル間表現を同時に学習するために,自己教師型戦略による意味的一貫性を探索するクロスモーダルコントラストモジュールを設計する。 異なるペア間の視覚的およびテキスト的表現を完全に整合させるため、プロトタイプアライメント戦略を設計する。 1)空間的アライメントのためのオブジェクトのプロトタイプとフレーズのプロトタイプにマッチし、 2) 時間的アライメントのための活動プロトタイプと文プロトタイプをアライメントする。 最後に, 適応的な負選択モジュールを開発し, クロスモーダルマッチングのための閾値を適応的に生成する。 実験の結果,提案手法の有効性と有効性を示した。

関連論文リスト

• VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
  Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。 VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。 VidVRDのワンステージモデルであるVrdONEを提案する。
  論文  参考訳（メタデータ） (2024-08-18T08:38:20Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Video alignment using unsupervised learning of local and global features [0.0]
  フレームのグローバルな特徴と局所的な特徴を利用した非教師なしアライメント手法を提案する。 特に、人物検出、ポーズ推定、VGGネットワークという3つのマシンビジョンツールを用いて、各ビデオフレームに効果的な機能を導入する。 このアプローチの主な利点は、トレーニングを必要とせず、トレーニングサンプルを収集することなく、新しいタイプのアクションに適用できることです。
  論文  参考訳（メタデータ） (2023-04-13T22:20:54Z)
• HyRSM++: Hybrid Relation Guided Temporal Set Matching for Few-shot Action Recognition [51.2715005161475]
  そこで本研究では,数発のアクション認識のための時間的マッチング手法として,ハイブリッドリレーションド・テンポラル・セット・マッチングを提案する。 HyRSM++の中核となる考え方は、すべてのビデオをタスクに統合して差別的な表現を学ぶことである。 提案手法は,様々な撮影条件下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-01-09T13:32:50Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)
• Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
  本稿では,時間文グラウンドリングのマルチメディア問題について検討する。 与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
  論文  参考訳（メタデータ） (2022-08-31T14:16:56Z)
• Learning to Associate Every Segment for Video Panoptic Segmentation [123.03617367709303]
  粗いセグメントレベルのマッチングと細かなピクセルレベルのマッチングを同時に学習する。 本研究では,Cityscapes-VPSおよびVIPERデータセット上で,フレーム単位の計算モデルにより,最先端の計算結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-17T13:06:24Z)
• Frame-wise Cross-modal Matching for Video Moment Retrieval [32.68921139236391]
  ビデオモーメント検索は、与えられた言語クエリのためにビデオ中の瞬間を検索するターゲットである。 本課題は,1)未編集ビデオにおける関連モーメントのローカライズの必要性,2)テキストクエリとビデオコンテンツ間のセマンティックなギャップを埋めることである。 本稿では,対話モデルに基づいて時間境界を予測できる注意的相互関連マッチングモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-22T10:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。