論文の概要: Hierarchical Deep Residual Reasoning for Temporal Moment Localization

• arxiv url: http://arxiv.org/abs/2111.00417v1
• Date: Sun, 31 Oct 2021 07:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 13:58:54.457213
• Title: Hierarchical Deep Residual Reasoning for Temporal Moment Localization
• Title（参考訳）: 時間的モーメント局在に対する階層的残差推論
• Authors: Ziyang Ma, Xianjing Han, Xuemeng Song, Yiran Cui, Liqiang Nie
• Abstract要約: ビデオと文を異なる意味を持つマルチレベル表現に分解する階層的深層残響推論(HDRR)モデルを提案する。 また,機能融合のための簡易かつ効果的なRes-BiGRUを設計し,自己適応的に有用な情報を把握できる。
• 参考スコア（独自算出の注目度）: 48.108468456043994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal Moment Localization (TML) in untrimmed videos is a challenging task in the field of multimedia, which aims at localizing the start and end points of the activity in the video, described by a sentence query. Existing methods mainly focus on mining the correlation between video and sentence representations or investigating the fusion manner of the two modalities. These works mainly understand the video and sentence coarsely, ignoring the fact that a sentence can be understood from various semantics, and the dominant words affecting the moment localization in the semantics are the action and object reference. Toward this end, we propose a Hierarchical Deep Residual Reasoning (HDRR) model, which decomposes the video and sentence into multi-level representations with different semantics to achieve a finer-grained localization. Furthermore, considering that videos with different resolution and sentences with different length have different difficulty in understanding, we design the simple yet effective Res-BiGRUs for feature fusion, which is able to grasp the useful information in a self-adapting manner. Extensive experiments conducted on Charades-STA and ActivityNet-Captions datasets demonstrate the superiority of our HDRR model compared with other state-of-the-art methods.
• Abstract（参考訳）: 非トリミングビデオにおける時間的モーメントローカライゼーション(TML)はマルチメディア分野における課題であり、文クエリによって記述されたビデオのアクティビティの開始点と終了点をローカライズすることを目的としている。 既存の手法では,映像表現と文表現の相関関係の抽出や,その融合方法の検討が主である。 これらの著作は主に映像と文を粗末に理解し、文章が様々な意味論から理解できるという事実を無視し、意味論におけるモーメントの定位に影響する支配的な単語は行動と対象参照である。 この目的のために,ビデオと文を異なる意味を持つマルチレベル表現に分解し,よりきめ細かい局所化を実現する階層的深層残響推論(HDRR)モデルを提案する。 さらに,異なる解像度の映像と異なる長さの文章が理解の困難さを考慮し,機能融合のための単純かつ効果的なres-bigrusを設計し,その有用な情報を自己適応的に把握する。 Charades-STAおよびActivityNet-Captionsデータセットで実施された大規模な実験は、他の最先端手法と比較してHDRRモデルの優位性を示している。

関連論文リスト

• Multi-Modal interpretable automatic video captioning [1.9874264019909988]
  マルチモーダル・コントラッシブ・ロスを訓練した新しいビデオキャプション手法を提案する。 我々のアプローチは、これらのモダリティ間の依存関係を捉えるために設計されており、その結果、より正確で、従って関連するキャプションとなる。
  論文  参考訳（メタデータ） (2024-11-11T11:12:23Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。