論文の概要: Cross-Sentence Temporal and Semantic Relations in Video Activity Localisation

• arxiv url: http://arxiv.org/abs/2107.11443v1
• Date: Fri, 23 Jul 2021 20:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 16:10:11.995363
• Title: Cross-Sentence Temporal and Semantic Relations in Video Activity Localisation
• Title（参考訳）: 映像活動における時間的・意味的関係
• Authors: Jiabo Huang, Yang Liu, Shaogang Gong and Hailin Jin
• Abstract要約: 我々は、クロスセンスリレーショナルマイニングを導入して、より正確な教師付きソリューションを開発する。 本稿では,(1)トリミング順序付けと(2)ビデオ活動の段落記述における文間の意味的一貫性の2つの横断的関係性制約について検討する。 2つのパブリックなアクティビティローカライゼーションデータセットの実験は、最先端の弱い教師付き手法に対する我々のアプローチの利点を示している。
• 参考スコア（独自算出の注目度）: 79.50868197788773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video activity localisation has recently attained increasing attention due to its practical values in automatically localising the most salient visual segments corresponding to their language descriptions (sentences) from untrimmed and unstructured videos. For supervised model training, a temporal annotation of both the start and end time index of each video segment for a sentence (a video moment) must be given. This is not only very expensive but also sensitive to ambiguity and subjective annotation bias, a much harder task than image labelling. In this work, we develop a more accurate weakly-supervised solution by introducing Cross-Sentence Relations Mining (CRM) in video moment proposal generation and matching when only a paragraph description of activities without per-sentence temporal annotation is available. Specifically, we explore two cross-sentence relational constraints: (1) Temporal ordering and (2) semantic consistency among sentences in a paragraph description of video activities. Existing weakly-supervised techniques only consider within-sentence video segment correlations in training without considering cross-sentence paragraph context. This can mislead due to ambiguous expressions of individual sentences with visually indiscriminate video moment proposals in isolation. Experiments on two publicly available activity localisation datasets show the advantages of our approach over the state-of-the-art weakly supervised methods, especially so when the video activity descriptions become more complex.
• Abstract（参考訳）: ビデオのアクティビティのローカライゼーションは、言語記述(文)に対応する最も健全な視覚セグメントを、非トリミングビデオや非構造化ビデオから自動的にローカライズするという実用的価値から、近年注目を集めている。 教師付きモデルトレーニングには、文(ビデオモーメント)に対する各ビデオセグメントの開始時と終了時のインデックスの時間アノテーションを与える必要がある。 これは非常に高価であるだけでなく、曖昧さや主観的アノテーションバイアスにも敏感である。 本研究では、映像モーメントの提案生成にCRM(クロス・センテンス・リレーションズ・マイニング)を導入し、時間単位のアノテーションのないアクティビティの項記述のみを利用できるようにすることで、より正確な教師付きソリューションを開発する。 具体的には,(1)時間的順序付けと(2)ビデオ活動の段落記述における文間の意味的一貫性の2つについて検討する。 既存の弱教師付き手法は, クロス文節文脈を考慮せずに, トレーニングにおけるシーン内ビデオセグメントの相関についてのみ検討する。 これは、視覚的にビデオモーメントの提案を別々に区別しない個々の文のあいまいな表現のために誤解を招く可能性がある。 2つの公に利用可能なアクティビティローカライズデータセットに関する実験は、最先端の弱い教師付きメソッド、特にビデオアクティビティの記述がより複雑になる場合に、このアプローチの利点を示しています。

関連論文リスト

• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
  ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。 既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。 我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
  論文  参考訳（メタデータ） (2024-03-18T04:30:31Z)
• TempCLR: Temporal Alignment Representation with Contrastive Learning [35.12182087403215]
  本稿では,全ビデオと段落を明示的に比較するために,対照的な学習フレームワークであるTempCLRを提案する。 ビデオと段落の事前学習に加えて,ビデオインスタンス間のマッチングも一般化できる。
  論文  参考訳（メタデータ） (2022-12-28T08:10:31Z)
• Hierarchical Deep Residual Reasoning for Temporal Moment Localization [48.108468456043994]
  ビデオと文を異なる意味を持つマルチレベル表現に分解する階層的深層残響推論(HDRR)モデルを提案する。 また,機能融合のための簡易かつ効果的なRes-BiGRUを設計し,自己適応的に有用な情報を把握できる。
  論文  参考訳（メタデータ） (2021-10-31T07:13:34Z)
• Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos [55.52369116870822]
  本稿では,ビデオにおける時間的言語ローカライゼーションの問題に対処することに焦点を当てる。 自然言語文で記述された瞬間の始点と終点を、未編集のビデオで識別することを目的としている。
  論文  参考訳（メタデータ） (2021-10-12T14:59:25Z)
• Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos [63.94898634140878]
  ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。 本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。 本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
  論文  参考訳（メタデータ） (2020-08-06T04:09:03Z)
• Look Closer to Ground Better: Weakly-Supervised Temporal Grounding of Sentence in Video [53.69956349097428]
  未トリミングビデオと問合せ文が与えられた場合、我々のゴールは、問合せ文に意味的に対応するビデオ内の時間セグメントをローカライズすることである。 本稿では,この問題を粗大な方法で解くための2段階モデルを提案する。
  論文  参考訳（メタデータ） (2020-01-25T13:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。