論文の概要: Hierarchical Deep Residual Reasoning for Temporal Moment Localization
- arxiv url: http://arxiv.org/abs/2111.00417v1
- Date: Sun, 31 Oct 2021 07:13:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 13:58:54.457213
- Title: Hierarchical Deep Residual Reasoning for Temporal Moment Localization
- Title(参考訳): 時間的モーメント局在に対する階層的残差推論
- Authors: Ziyang Ma, Xianjing Han, Xuemeng Song, Yiran Cui, Liqiang Nie
- Abstract要約: ビデオと文を異なる意味を持つマルチレベル表現に分解する階層的深層残響推論(HDRR)モデルを提案する。
また,機能融合のための簡易かつ効果的なRes-BiGRUを設計し,自己適応的に有用な情報を把握できる。
- 参考スコア(独自算出の注目度): 48.108468456043994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal Moment Localization (TML) in untrimmed videos is a challenging task
in the field of multimedia, which aims at localizing the start and end points
of the activity in the video, described by a sentence query. Existing methods
mainly focus on mining the correlation between video and sentence
representations or investigating the fusion manner of the two modalities. These
works mainly understand the video and sentence coarsely, ignoring the fact that
a sentence can be understood from various semantics, and the dominant words
affecting the moment localization in the semantics are the action and object
reference. Toward this end, we propose a Hierarchical Deep Residual Reasoning
(HDRR) model, which decomposes the video and sentence into multi-level
representations with different semantics to achieve a finer-grained
localization. Furthermore, considering that videos with different resolution
and sentences with different length have different difficulty in understanding,
we design the simple yet effective Res-BiGRUs for feature fusion, which is able
to grasp the useful information in a self-adapting manner. Extensive
experiments conducted on Charades-STA and ActivityNet-Captions datasets
demonstrate the superiority of our HDRR model compared with other
state-of-the-art methods.
- Abstract(参考訳): 非トリミングビデオにおける時間的モーメントローカライゼーション(TML)はマルチメディア分野における課題であり、文クエリによって記述されたビデオのアクティビティの開始点と終了点をローカライズすることを目的としている。
既存の手法では,映像表現と文表現の相関関係の抽出や,その融合方法の検討が主である。
これらの著作は主に映像と文を粗末に理解し、文章が様々な意味論から理解できるという事実を無視し、意味論におけるモーメントの定位に影響する支配的な単語は行動と対象参照である。
この目的のために,ビデオと文を異なる意味を持つマルチレベル表現に分解し,よりきめ細かい局所化を実現する階層的深層残響推論(HDRR)モデルを提案する。
さらに,異なる解像度の映像と異なる長さの文章が理解の困難さを考慮し,機能融合のための単純かつ効果的なres-bigrusを設計し,その有用な情報を自己適応的に把握する。
Charades-STAおよびActivityNet-Captionsデータセットで実施された大規模な実験は、他の最先端手法と比較してHDRRモデルの優位性を示している。
関連論文リスト
- What, when, and where? -- Self-Supervised Spatio-Temporal Grounding in
Untrimmed Multi-Action Videos from Narrated Instructions [41.092918691505425]
時空間グラウンド(時空間グラウンド)は、空間と時間における事象を局所化するタスクを指す。
このタスクのモデルは、通常、人間の注釈付き文とバウンディングボックスの監督によって訓練される。
我々は,局所的な表現学習と,より詳細な空間情報に焦点を合わせ,高レベルな表現を捉えるグローバルな表現を組み合わせる。
論文 参考訳(メタデータ) (2023-03-29T19:38:23Z) - Structured Video-Language Modeling with Temporal Grouping and Spatial
Grounding [117.23208392452693]
簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。
これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。
S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
論文 参考訳(メタデータ) (2023-03-28T22:45:07Z) - Modeling Motion with Multi-Modal Features for Text-Based Video
Segmentation [56.41614987789537]
テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。
本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
論文 参考訳(メタデータ) (2022-04-06T02:42:33Z) - Multi-Modal Interaction Graph Convolutional Network for Temporal
Language Localization in Videos [55.52369116870822]
本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。
自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
論文 参考訳(メタデータ) (2021-10-12T14:59:25Z) - Cross-Sentence Temporal and Semantic Relations in Video Activity
Localisation [79.50868197788773]
我々は、クロスセンスリレーショナルマイニングを導入して、より正確な教師付きソリューションを開発する。
本稿では,(1)トリミング順序付けと(2)ビデオ活動の段落記述における文間の意味的一貫性の2つの横断的関係性制約について検討する。
2つのパブリックなアクティビティローカライゼーションデータセットの実験は、最先端の弱い教師付き手法に対する我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2021-07-23T20:04:01Z) - Learning Modality Interaction for Temporal Sentence Localization and
Event Captioning in Videos [76.21297023629589]
そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。
提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-28T12:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。