論文の概要: How Do You Do It? Fine-Grained Action Understanding with Pseudo-Adverbs
- arxiv url: http://arxiv.org/abs/2203.12344v1
- Date: Wed, 23 Mar 2022 11:53:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-24 15:21:43.313718
- Title: How Do You Do It? Fine-Grained Action Understanding with Pseudo-Adverbs
- Title（参考訳）: どうやってやるのか?
pseudo-adverbsによるきめ細かい行動理解
- Authors: Hazel Doughty and Cees G. M. Snoek
- Abstract要約: そこで本研究では,様々な行動にまたがる副詞を認識する手法を提案する。
提案手法は,複数の副詞の擬似ラベルを用いた半教師付き学習を用いる。
また、副詞がきめ細かな行動とどのように関連しているかを示す。
- 参考スコア（独自算出の注目度）: 52.042261549764326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We aim to understand how actions are performed and identify subtle
differences, such as 'fold firmly' vs. 'fold gently'. To this end, we propose a
method which recognizes adverbs across different actions. However, such
fine-grained annotations are difficult to obtain and their long-tailed nature
makes it challenging to recognize adverbs in rare action-adverb compositions.
Our approach therefore uses semi-supervised learning with multiple adverb
pseudo-labels to leverage videos with only action labels. Combined with
adaptive thresholding of these pseudo-adverbs we are able to make efficient use
of the available data while tackling the long-tailed distribution.
Additionally, we gather adverb annotations for three existing video retrieval
datasets, which allows us to introduce the new tasks of recognizing adverbs in
unseen action-adverb compositions and unseen domains. Experiments demonstrate
the effectiveness of our method, which outperforms prior work in recognizing
adverbs and semi-supervised works adapted for adverb recognition. We also show
how adverbs can relate fine-grained actions.
- Abstract（参考訳）: 我々は,行動がどのように行われるかを理解し,「しっかりと」と「緩やかに」の微妙な違いを識別することを目指している。
そこで本研究では,異なる行動にまたがる副詞を認識する手法を提案する。
しかし,このような細粒度のアノテーションは入手が困難であり,その長文性から稀な動作副詞の認識が困難である。
そこで本手法では,マルチアドバーブ擬似ラベルを用いた半教師付き学習を行い,アクションラベルのみを用いたビデオを活用する。
これらの擬似アドバーブの適応しきい値設定と組み合わせることで、ロングテール分布に取り組みながら、利用可能なデータを効率的に利用することができる。
さらに,既存の3つのビデオ検索データセットに対する副詞アノテーションを収集し,未知のアクション・副詞合成や未知のドメインにおける副詞認識の新たなタスクを導入する。
提案手法の有効性を実証し, 副詞認識における先行作業と半教師付き作業とを比較検討した。
また,adverbsがきめ細かいアクションを関連付ける方法についても示す。
関連論文リスト
- Enhancing Metaphor Detection through Soft Labels and Target Word Prediction [3.7676096626244986]
メタファ検出に特化して設計された即時学習フレームワークを開発した。
また,有意義なソフトラベルを生成する教師モデルも導入する。
実験により,本モデルが最先端の性能を達成したことを示す。
論文 参考訳（メタデータ） (2024-03-27T04:51:42Z) - Generating Action-conditioned Prompts for Open-vocabulary Video Action
Recognition [63.95111791861103]
既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。
我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。
提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
論文 参考訳（メタデータ） (2023-12-04T02:31:38Z) - Video-adverb retrieval with compositional adverb-action embeddings [59.45164042078649]
ビデオの中のアクションを記述する副詞を検索することは、きめ細かいビデオを理解するための重要なステップとなる。
本稿では,ビデオの埋め込みと合成副詞アクションテキストの埋め込みを一致させる,ビデオから副詞検索のためのフレームワークを提案する。
提案手法は,ビデオ・アドバブ検索のための最新の5つのベンチマークにおいて,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-09-26T17:31:02Z) - Free-Form Composition Networks for Egocentric Action Recognition [97.02439848145359]
本稿では,不整形動詞,前置詞,名詞表現を同時に学習できる自由形合成ネットワーク(FFCN)を提案する。
提案したFFCNは、レアクラスのトレーニングデータを直接生成できるため、動作認識性能が大幅に向上する。
論文 参考訳（メタデータ） (2023-07-13T02:22:09Z) - Verbs in Action: Improving verb understanding in video-language models [128.87443209118726]
CLIPに基づく最先端のビデオ言語モデルは、動詞の理解が限られていることが示されている。
我々は,CLIPに基づくビデオ言語モデルの動詞理解を改善するために,新しいVerb-Focused Contrastiveフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-13T17:57:01Z) - Learning Action Changes by Measuring Verb-Adverb Textual Relationships [40.596329888722714]
映像中の動作に適応した変化を示す副詞を予測することを目的としている。
我々は,副詞の予測とアントロニム分類に関する最先端の結果を得た。
そこで我々は,異なる動作を行うと意味のある視覚的変化を示す一連のアクションを,指導的レシピビデオに焦点をあてる。
論文 参考訳（メタデータ） (2023-03-27T10:53:38Z) - Tell me what you see: A zero-shot action recognition method based on
natural language descriptions [3.136605193634262]
ビデオから意味情報を抽出するビデオキャプション手法を提案する。
私たちの知る限りでは、ビデオとラベルの両方を記述文で表現するのはこれが初めてです。
複数のテキストデータセット上でパラフレージングタスクで事前訓練されたBERTベースの埋め込みを用いた共有意味空間を構築する。
論文 参考訳（メタデータ） (2021-12-18T17:44:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。