論文の概要: Developing Motion Code Embedding for Action Recognition in Videos
- arxiv url: http://arxiv.org/abs/2012.05438v1
- Date: Thu, 10 Dec 2020 03:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-15 06:33:28.924664
- Title: Developing Motion Code Embedding for Action Recognition in Videos
- Title(参考訳): 動画における行動認識のためのモーションコード埋め込みの開発
- Authors: Maxat Alibayev, David Paulius, and Yu Sun
- Abstract要約: 動きのベクトル化表現である動き符号(motion codes)と呼ばれる動き埋め込み戦略を提案する。
我々は、視覚的特徴と意味的特徴を組み合わせたディープニューラルネットワークモデルを開発し、運動分類学で見られる特徴を特定し、動画をモーションコードに埋め込みました。
機械学習タスクの機能としての動作符号の可能性を示すために,抽出した特徴を現在の動作認識モデルに統合した。
- 参考スコア(独自算出の注目度): 5.400294730456784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a motion embedding strategy known as motion codes,
which is a vectorized representation of motions based on a manipulation's
salient mechanical attributes. These motion codes provide a robust motion
representation, and they are obtained using a hierarchy of features called the
motion taxonomy. We developed and trained a deep neural network model that
combines visual and semantic features to identify the features found in our
motion taxonomy to embed or annotate videos with motion codes. To demonstrate
the potential of motion codes as features for machine learning tasks, we
integrated the extracted features from the motion embedding model into the
current state-of-the-art action recognition model. The obtained model achieved
higher accuracy than the baseline model for the verb classification task on
egocentric videos from the EPIC-KITCHENS dataset.
- Abstract(参考訳): 本研究では,動きのベクトル化表現であるモーションコード (motion codes) と呼ばれる動き埋め込み戦略を提案する。
これらの運動符号は頑健な運動表現を提供し、運動分類と呼ばれる特徴階層を用いて得られる。
我々は、視覚的特徴と意味的特徴を組み合わせたディープニューラルネットワークモデルを開発し、訓練し、モーション分類で見られる特徴を特定し、動画をモーションコードで埋め込んだり、注釈付けしたりしました。
機械学習タスクの特徴としてモーションコードの可能性を示すために,モーション埋め込みモデルから抽出した特徴を,現在最先端のアクション認識モデルに統合した。
得られたモデルは,EPIC-KITCHENSデータセットから得られたエゴセントリックビデオの動詞分類タスクのベースラインモデルよりも高い精度を実現した。
関連論文リスト
- Diving Deep into the Motion Representation of Video-Text Models [12.197093960700187]
GPT-4の生成した動作記述は、アクティビティのきめ細かい動作記述をキャプチャする。
動作記述の検索作業におけるビデオテキストモデルの評価を行った。
論文 参考訳(メタデータ) (2024-06-07T16:46:10Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - CALM: Conditional Adversarial Latent Models for Directable Virtual
Characters [71.66218592749448]
本研究では,ユーザが制御する対話型仮想キャラクタに対して,多種多様かつ指示可能な振る舞いを生成するための条件付き適応潜在モデル(CALM)を提案する。
模倣学習を用いて、CALMは人間の動きの複雑さを捉える動きの表現を学び、キャラクターの動きを直接制御できる。
論文 参考訳(メタデータ) (2023-05-02T09:01:44Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳(メタデータ) (2021-07-22T15:57:18Z) - Hierarchical Motion Understanding via Motion Programs [23.288517329229943]
動作を高レベルプリミティブの構成として表現する,ニューロシンボリックなプログラムライクな表現であるモーションプログラムを紹介する。
また,人間の動画から自動的に動作プログラムを誘導し,映像合成における動作プログラムを活用するシステムを提案する。
私たちの表現は、ビデオやビデオの予測といった下流のタスクにも役立ち、既成モデルよりも優れています。
論文 参考訳(メタデータ) (2021-04-22T17:49:59Z) - AMP: Adversarial Motion Priors for Stylized Physics-Based Character
Control [145.61135774698002]
我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。
キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。
キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。
本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
論文 参考訳(メタデータ) (2021-04-05T22:43:14Z) - Self-supervised Motion Learning from Static Images [36.85209332144106]
Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。
MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。
下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
論文 参考訳(メタデータ) (2021-04-01T03:55:50Z) - Estimating Motion Codes from Demonstration Videos [8.651301326454496]
運動分類学は、操作をバイナリエンコードされた表現としてエンコードすることができる。
運動符号は、本来は運動の機械的特徴を記述する組込み空間における操作動作を表す。
本稿では,非教師付き方式でデモビデオから動作コードを抽出する深層学習パイプラインを開発する。
論文 参考訳(メタデータ) (2020-07-31T04:20:31Z) - Hierarchical Contrastive Motion Learning for Video Action Recognition [100.9807616796383]
本稿では,映像フレームから効果的な動き表現を抽出する自己教師型学習フレームワークである階層型コントラスト学習を提案する。
提案手法は,ネットワーク内の異なる抽象レベルに対応する動作特徴の階層構造を段階的に学習する。
私たちのモーション学習モジュールは軽量で柔軟性があり、様々なバックボーンネットワークに組み込むことができます。
論文 参考訳(メタデータ) (2020-07-20T17:59:22Z) - A Motion Taxonomy for Manipulation Embedding [8.651301326454496]
本稿では,運動分類学を用いた動作埋め込みについて検討する。
モーションコードは、接触型や軌道のような機械的特性を捉えている。
動作符号は操作の現実と密に一致した距離を保っていることを示す。
論文 参考訳(メタデータ) (2020-07-13T21:14:26Z) - Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。
モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。
このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
論文 参考訳(メタデータ) (2020-03-09T16:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。