論文の概要: Bridging the Gap: A Unified Video Comprehension Framework for Moment Retrieval and Highlight Detection

• arxiv url: http://arxiv.org/abs/2311.16464v1
• Date: Tue, 28 Nov 2023 03:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 20:24:59.969193
• Title: Bridging the Gap: A Unified Video Comprehension Framework for Moment Retrieval and Highlight Detection
• Title（参考訳）: Bridging the Gap: モーメント検索とハイライト検出のための統合ビデオ理解フレームワーク
• Authors: Yicheng Xiao, Zhuoyan Luo, Yong Liu, Yue Ma, Hengwei Bian, Yatai Ji, Yujiu Yang, Xiu Li
• Abstract要約: ビデオモーメント検索 (MR) とハイライト検出 (HD) は, ビデオ解析の需要が高まっているため, 注目されている。 最近のアプローチでは、MRとHDをビデオグラウンド問題として扱い、トランスフォーマーベースのアーキテクチャでそれらに対処している。 本稿では,そのギャップを埋め,MRとHDを効果的に解決するための統一ビデオ理解フレームワーク(UVCOM)を提案する。
• 参考スコア（独自算出の注目度）: 45.82453232979516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Moment Retrieval (MR) and Highlight Detection (HD) have attracted significant attention due to the growing demand for video analysis. Recent approaches treat MR and HD as similar video grounding problems and address them together with transformer-based architecture. However, we observe that the emphasis of MR and HD differs, with one necessitating the perception of local relationships and the other prioritizing the understanding of global contexts. Consequently, the lack of task-specific design will inevitably lead to limitations in associating the intrinsic specialty of two tasks. To tackle the issue, we propose a Unified Video COMprehension framework (UVCOM) to bridge the gap and jointly solve MR and HD effectively. By performing progressive integration on intra and inter-modality across multi-granularity, UVCOM achieves the comprehensive understanding in processing a video. Moreover, we present multi-aspect contrastive learning to consolidate the local relation modeling and global knowledge accumulation via well aligned multi-modal space. Extensive experiments on QVHighlights, Charades-STA, TACoS , YouTube Highlights and TVSum datasets demonstrate the effectiveness and rationality of UVCOM which outperforms the state-of-the-art methods by a remarkable margin.
• Abstract（参考訳）: ビデオモーメント検索 (MR) とハイライト検出 (HD) は, ビデオ解析の需要が高まっているため, 注目されている。 最近のアプローチでは、MRとHDをビデオグラウンド問題として扱い、トランスフォーマーベースのアーキテクチャでそれらに対処している。 しかし, MRとHDの重み付けは, 局所的な関係の認識と, グローバルな文脈の理解を優先することとで異なる。 したがって、タスク固有の設計の欠如は、必然的に2つのタスクの本質的な特殊性を関連付けることの制限につながる。 本稿では,このギャップを埋め,MRとHDを効果的に解決するための統一ビデオ理解フレームワーク (UVCOM) を提案する。 複数の粒度にわたってモダリティ内とモダリティ間のプログレッシブな統合を行うことで、uvcomはビデオの処理における包括的理解を達成する。 さらに,局所的関係モデリングとグローバルな知識蓄積を適切に整合したマルチモーダル空間を通じて統合するために,マルチアスペクトコントラスト学習を提案する。 QVHighlights、Charades-STA、TACoS、YouTube Highlights、TVSumデータセットに関する大規模な実験は、UVCOMの有効性と合理性を示している。

関連論文リスト

• Dual-Hybrid Attention Network for Specular Highlight Removal [34.99543751199565]
  画像やビデオの品質と解釈性を高めるため、マルチメディアアプリケーションにおいて特異ハイライト除去は重要な役割を担っている。 現在の最先端のアプローチは、しばしば追加の事前や監督に依存し、実用性と一般化能力を制限する。 本稿では、新しいハイブリッドアテンション機構を導入するエンドツーエンドネットワークであるDHAN-SHR(Dual-Hybrid Attention Network for Specular Highlightectomy)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T01:52:41Z)
• REACT: Recognize Every Action Everywhere All At Once [8.10024991952397]
  グループ・アクティビティ・デコーダ(GAR)はコンピュータビジョンにおける基本的な問題であり、スポーツ分析、監視、社会場面の理解に様々な応用がある。 本稿では,変換器エンコーダ・デコーダモデルにインスパイアされたREACTアーキテクチャを提案する。 提案手法は,グループ活動の認識と理解において優れた精度を示すとともに,最先端のGAR手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-27T20:48:54Z)
• Local-Global Associative Frame Assemble in Video Re-ID [57.7470971197962]
  ビデオ列から自動生成されたオブジェクト境界ボックスにおける雑音および非表現フレームは、ビデオ再識別(Re-ID)における識別表現の学習に困難をもたらす 既存の手法の多くは、局所的な部分アライメントまたはグローバルな外観相関によって、ビデオフレームの重要性を個別に評価することで、この問題に対処している。 本研究では,局所的なアライメントとグローバルな相関関係を共同で検討し,相互の促進・強化について考察する。
  論文  参考訳（メタデータ） (2021-10-22T19:07:39Z)
• Multi-Granularity Network with Modal Attention for Dense Affective Understanding [11.076925361793556]
  近年の脳波課題では,感情理解の深層化が提案され,フレームレベルの感情予測が求められている。 目的のフレームをよりよく記述するために,多粒度特徴を用いた多粒度ネットワーク(MGN-MA)を提案する。 提案手法はEEVチャレンジにおいて0.02292の相関値を得る。
  論文  参考訳（メタデータ） (2021-06-18T07:37:06Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)
• Exploring global diverse attention via pairwise temporal relation for video summarization [84.28263235895798]
  我々は,Global Diverse Attentionによるビデオ要約のための効率的な畳み込みニューラルネットワークアーキテクチャを提案する。 提案したモデルは計算コストを大幅に削減して並列に実行できる。
  論文  参考訳（メタデータ） (2020-09-23T06:29:09Z)
• Transforming Multi-Concept Attention into Video Summarization [36.85535624026879]
  本稿では,複雑な映像データを用いた映像要約のための新しいアテンションベースフレームワークを提案する。 我々のモデルはラベル付きデータとラベルなしデータの両方に適用でき、実世界のアプリケーションに好適である。
  論文  参考訳（メタデータ） (2020-06-02T06:23:50Z)
• Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification [98.7585431239291]
  ビデオベースの人物再識別は、同じ人物をビデオクリップ間でマッチングすることを目的としている。 本稿では,マルチグラニュラリティ参照属性集約モジュールMG-RAFAを提案する。 本フレームワークは,3つのベンチマークデータセット上での最先端のアブレーション性能を実現する。
  論文  参考訳（メタデータ） (2020-03-27T03:49:21Z)
• See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks [184.4379622593225]
  教師なしビデオオブジェクトセグメンテーションタスクに対処するため,CO-attention Siamese Network (COSNet) と呼ばれる新しいネットワークを導入する。 我々は,ビデオフレーム間の固有相関の重要性を強調し,グローバルなコアテンション機構を取り入れた。 本稿では、ビデオ内のリッチなコンテキストをマイニングするために、異なるコアテンションの変種を導出する、統一的でエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-19T11:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。