論文の概要: Localizing the Common Action Among a Few Videos

• arxiv url: http://arxiv.org/abs/2008.05826v2
• Date: Tue, 25 Aug 2020 12:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 22:54:57.300789
• Title: Localizing the Common Action Among a Few Videos
• Title（参考訳）: 動画で見る共通行動の現地化
• Authors: Pengwan Yang, Vincent Tao Hu, Pascal Mettes, Cees G. M. Snoek
• Abstract要約: 本論文は,長編ビデオにおける動作の時間的範囲をローカライズする試みである。 サポートビデオからの表現を関連するクエリビデオセグメントと整合させることができる新しい3D畳み込みネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 51.09824165433561
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper strives to localize the temporal extent of an action in a long untrimmed video. Where existing work leverages many examples with their start, their ending, and/or the class of the action during training time, we propose few-shot common action localization. The start and end of an action in a long untrimmed video is determined based on just a hand-full of trimmed video examples containing the same action, without knowing their common class label. To address this task, we introduce a new 3D convolutional network architecture able to align representations from the support videos with the relevant query video segments. The network contains: (\textit{i}) a mutual enhancement module to simultaneously complement the representation of the few trimmed support videos and the untrimmed query video; (\textit{ii}) a progressive alignment module that iteratively fuses the support videos into the query branch; and (\textit{iii}) a pairwise matching module to weigh the importance of different support videos. Evaluation of few-shot common action localization in untrimmed videos containing a single or multiple action instances demonstrates the effectiveness and general applicability of our proposal.
• Abstract（参考訳）: 本論文は,長編ビデオにおける動作の時間的範囲をローカライズする試みである。 既存の作業が開始、終了、および/またはトレーニング中のアクションのクラスで多くの例を活用している場合は、わずかなアクションのローカライズを提案する。 長い未トリミングビデオにおけるアクションの開始と終了は、共通のクラスラベルを知らずに、同じアクションを含むトリミングされたビデオ例のハンドフルのみに基づいて決定される。 この課題に対処するために,サポートビデオからの表現を関連するクエリビデオセグメントにアライメント可能な,新たな3次元畳み込みネットワークアーキテクチャを提案する。 ネットワークには、 (\textit{i}) 少数のトリミングされたサポートビデオと未トリミングされたクエリビデオの表現を同時に補完する相互拡張モジュール、 (\textit{ii}) サポートビデオをクエリブランチに反復的に融合するプログレッシブアライメントモジュール、 (\textit{iii}) 異なるサポートビデオの重要性を判断するためのペアアライメントモジュールが含まれる。 単一または複数アクションインスタンスを含む未トリミングビデオにおけるマイトショットコモンアクションローカライズの評価は,提案手法の有効性と汎用性を示す。

関連論文リスト

• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• UnLoc: A Unified Framework for Video Localization Tasks [82.59118972890262]
  UnLocは、未トリミングビデオにおける時間的ローカライズのための新しいアプローチである。 事前訓練された画像とテキストタワーを使用し、トークンをビデオテキスト融合モデルに供給する。 我々は,3つの異なるローカライゼーションタスクに対して,統一的なアプローチで成果を達成している。
  論文  参考訳（メタデータ） (2023-08-21T22:15:20Z)
• Video-Specific Query-Key Attention Modeling for Weakly-Supervised Temporal Action Localization [14.43055117008746]
  弱いトリミングされた時間的アクションローカライゼーションは、ビデオレベルのアクションラベルのみを用いて、教師なしビデオ内のアクションインスタンスを特定し、ローカライズすることを目的としている。 本稿では,VQK-Netという名前のネットワークを提案する。ビデオ固有のクエリキーアテンションモデリングにより,各ビデオのアクションカテゴリ毎にユニークなクエリを学習する。
  論文  参考訳（メタデータ） (2023-05-07T04:18:22Z)
• Hierarchical Video-Moment Retrieval and Step-Captioning [68.4859260853096]
  HiRESTは、インストラクショナルビデオデータセットから3.4Kのテキストビデオペアで構成されている。 我々の階層的ベンチマークは、ビデオ検索、モーメント検索、2つの新しいモーメントセグメンテーション、ステップキャプションタスクからなる。
  論文  参考訳（メタデータ） (2023-03-29T02:33:54Z)
• TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency [133.75876535332003]
  我々は,ビデオ要約の未探索領域である指導ビデオの要約に焦点をあてる。 既存のビデオ要約データセットは、手動のフレームレベルのアノテーションに依存している。 本稿では,文脈対応の時間的ビデオエンコーダとセグメントスコアリング変換器を組み合わせた指導ビデオ要約ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-08-14T04:07:40Z)
• Part-level Action Parsing via a Pose-guided Coarse-to-Fine Framework [108.70949305791201]
  パートレベルのアクションパーシング(PAP)は、ビデオレベルのアクションを予測するだけでなく、ビデオ内の各人に対するフレームレベルのきめ細かいアクションやインタラクションを認識することを目的としている。 特に,本フレームワークは,まず入力ビデオの映像レベルのクラスを予測し,次に身体部位をローカライズし,部分レベルの動作を予測する。 我々のフレームワークは最先端のパフォーマンスを達成し、既存の手法を31.10%のROCスコアで上回ります。
  論文  参考訳（メタデータ） (2022-03-09T01:30:57Z)
• Deep Multimodal Feature Encoding for Video Ordering [34.27175264084648]
  これらすべてのモダリティを符号化するコンパクトなマルチモーダル特徴表現を学習する方法を提案する。 我々のモデルパラメータは、時系列内の順序のない一連のビデオの時間的順序を推測するプロキシタスクによって学習される。 課題3つの課題,すなわち,ビデオの時間的順序を推定すること,および(ii)行動認識について,個人と共同のモダリティを分析し,評価する。
  論文  参考訳（メタデータ） (2020-04-05T14:02:23Z)
• SCT: Set Constrained Temporal Transformer for Set Supervised Action Segmentation [22.887397951846353]
  弱教師付きアプローチは、弱ラベル付きビデオから時間的アクションセグメンテーションを学ぶことを目的としている。 このようなデータに基づいてエンドツーエンドにトレーニング可能なアプローチを提案する。 提案手法は,最先端の結果が得られる3つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-03-31T14:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。