論文の概要: Reasoning over the Behaviour of Objects in Video-Clips for Adverb-Type Recognition

• arxiv url: http://arxiv.org/abs/2307.04132v2
• Date: Wed, 12 Jul 2023 10:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 10:32:27.916906
• Title: Reasoning over the Behaviour of Objects in Video-Clips for Adverb-Type Recognition
• Title（参考訳）: 副詞型認識のためのビデオクリップにおける物体の挙動に関する推論
• Authors: Amrit Diggavi Seshadri, Alessandra Russo
• Abstract要約: 本稿では,ビデオクリップから抽出したオブジェクトの振る舞いを理由として,クリップの対応する副詞型を認識するための新しいフレームワークを提案する。 具体的には、生のビデオクリップから人間の解釈可能な物体の挙動を抽出する新しいパイプラインを提案する。 生のビデオクリップから抽出したオブジェクト-振る舞い-ファクトのデータセットを2つリリースする。
• 参考スコア（独自算出の注目度）: 82.67562840933076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, following the intuition that adverbs describing scene-sequences are best identified by reasoning over high-level concepts of object-behavior, we propose the design of a new framework that reasons over object-behaviours extracted from raw-video-clips to recognize the clip's corresponding adverb-types. Importantly, while previous works for general scene adverb-recognition assume knowledge of the clips underlying action-types, our method is directly applicable in the more general problem setting where the action-type of a video-clip is unknown. Specifically, we propose a novel pipeline that extracts human-interpretable object-behaviour-facts from raw video clips and propose novel symbolic and transformer based reasoning methods that operate over these extracted facts to identify adverb-types. Experiment results demonstrate that our proposed methods perform favourably against the previous state-of-the-art. Additionally, to support efforts in symbolic video-processing, we release two new datasets of object-behaviour-facts extracted from raw video clips - the MSR-VTT-ASP and ActivityNet-ASP datasets.
• Abstract（参考訳）: 本稿では,シーン系列を記述した副詞が,高レベルなオブジェクト・ビヘイビアの概念を推論することによって最も識別されるという直感に従い,生のビデオクリップから抽出されたオブジェクト・ビヘイビアを理由とする新しいフレームワークの設計を提案し,クリップの対応する副詞タイプを認識する。 本手法は,ビデオクリップのアクションタイプが不明なより一般的な問題設定において,従来のシーンの副詞認識では,アクションタイプに基づくクリップの知識を前提としていたが,本手法は直接的に適用可能である。 具体的には、生のビデオクリップから人間の解釈可能な物体の挙動を抽出する新しいパイプラインを提案し、これら抽出された事実を操作して副詞型を識別する新しいシンボルと変換器に基づく推論手法を提案する。 実験の結果,提案手法は従来の技術に対して好適に機能することが示された。 さらに,シンボリックビデオ処理の取り組みをサポートするために,生のビデオクリップから抽出したオブジェクトビヘイビアファクトの2つの新しいデータセット,msr-vtt-asp と activitynet-asp データセットをリリースする。

関連論文リスト

• Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition [63.95111791861103]
  既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
  論文  参考訳（メタデータ） (2023-12-04T02:31:38Z)
• Video-adverb retrieval with compositional adverb-action embeddings [59.45164042078649]
  ビデオの中のアクションを記述する副詞を検索することは、きめ細かいビデオを理解するための重要なステップとなる。 本稿では,ビデオの埋め込みと合成副詞アクションテキストの埋め込みを一致させる,ビデオから副詞検索のためのフレームワークを提案する。 提案手法は,ビデオ・アドバブ検索のための最新の5つのベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-26T17:31:02Z)
• SOAR: Scene-debiasing Open-set Action Recognition [81.8198917049666]
  本稿では、対向的なシーン再構成モジュールと適応的な対向的なシーン分類モジュールを備えた、Scene-debiasing Open-set Action Recognition (SOAR)を提案する。 前者は、デコーダが映像特徴の映像背景を再構成することを防止し、特徴学習における背景情報を低減する。 後者は、アクションフォアグラウンドに特に重点を置いて、映像の特徴を与えられたシーンタイプの分類を混乱させることを目的としており、シーン不変情報を学習するのに役立つ。
  論文  参考訳（メタデータ） (2023-09-03T20:20:48Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• Tell me what you see: A zero-shot action recognition method based on natural language descriptions [3.136605193634262]
  ビデオから意味情報を抽出するビデオキャプション手法を提案する。 私たちの知る限りでは、ビデオとラベルの両方を記述文で表現するのはこれが初めてです。 複数のテキストデータセット上でパラフレージングタスクで事前訓練されたBERTベースの埋め込みを用いた共有意味空間を構築する。
  論文  参考訳（メタデータ） (2021-12-18T17:44:07Z)
• Zero-Shot Action Recognition from Diverse Object-Scene Compositions [15.942187254262091]
  本稿では,ゼロショット動作認識の問題点について考察する。 この挑戦的なシナリオのために、現在の主要なアプローチは、事前訓練されたネットワークを使用してビデオ内のオブジェクトを認識することによって、画像領域から知識を伝達することである。 オブジェクトがビデオの内容のローカルなビューを提供する場合、この作業では、アクションが発生するシーンのグローバルなビューも含もうとしています。 個々のシーンは、オブジェクトよりも遠方にあるものの、目に見えないアクションを認識することができ、オブジェクトベースのスコアとシーンベースのスコアの直接的な組み合わせは、アクション認識を劣化させる。
  論文  参考訳（メタデータ） (2021-10-26T08:23:14Z)
• Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation [140.4291169276062]
  ビデオオブジェクトセグメンテーション(RVOS)は、ビデオオブジェクトを自然言語参照のガイダンスでセグメント化することを目的としている。 以前の手法では、画像格子上の言語参照を直接グラウンド化することで、RVOSに対処するのが一般的であった。 そこで本研究では,複数のサンプルフレームから検出されたオブジェクトマスクをビデオ全体へ伝播させることにより,オブジェクトトラッカーの徹底的なセットを構築した。 次に,Transformerベースのトラックレット言語基底モジュールを提案し,インスタンスレベルの視覚的関係とモーダル間相互作用を同時に,効率的にモデル化する。
  論文  参考訳（メタデータ） (2021-06-02T10:26:13Z)
• Open-book Video Captioning with Retrieve-Copy-Generate Network [42.374461018847114]
  本稿では,従来のビデオキャプションタスクを新たなパラダイム,すなわちOpen-book Video Captioningに変換する。 本稿では,プラグイン可能なビデオ・テキスト検索システムを構築し,学習コーパスからのヒントとして文を効率的に検索するRetrieve-Copy-Generateネットワークを提案する。 本フレームワークは,従来の検索手法とオルソドックスエンコーダデコーダ法を協調して,検索した文中の多様な表現を描画するだけでなく,ビデオの自然な,正確な内容を生成する。
  論文  参考訳（メタデータ） (2021-03-09T08:17:17Z)
• Contextualizing ASR Lattice Rescoring with Hybrid Pointer Network Language Model [26.78064626111014]
  自動音声認識システムを構築する際には,ビデオメタデータが提供する文脈情報を利用することができる。 まず、ビデオメタデータの文脈ベクトル表現を抽出するために注意に基づく手法を用い、これらの表現をニューラルネットワークモデルへの入力の一部として利用する。 次に,メタデータ中の単語の発生確率を明示的に補間する,ハイブリッドポインターネットワーク手法を提案する。
  論文  参考訳（メタデータ） (2020-05-15T07:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。