論文の概要: Programmatic Concept Learning for Human Motion Description and Synthesis
- arxiv url: http://arxiv.org/abs/2206.13502v1
- Date: Mon, 27 Jun 2022 17:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 12:22:54.625223
- Title: Programmatic Concept Learning for Human Motion Description and Synthesis
- Title(参考訳): 人間の動作記述と合成のためのプログラム概念学習
- Authors: Sumith Kulal, Jiayuan Mao, Alex Aiken, Jiajun Wu
- Abstract要約: 本稿では,人間の行動の階層的な動作表現であるプログラム運動概念を紹介する。
この表現は、人間の動作記述、インタラクティブな編集、新しいビデオシーケンスの制御された合成を可能にする。
本稿では、この概念表現を、半教師付き方式でペア化されたビデオとアクションシーケンスから学習するアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 24.012518393988344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Programmatic Motion Concepts, a hierarchical motion
representation for human actions that captures both low-level motion and
high-level description as motion concepts. This representation enables human
motion description, interactive editing, and controlled synthesis of novel
video sequences within a single framework. We present an architecture that
learns this concept representation from paired video and action sequences in a
semi-supervised manner. The compactness of our representation also allows us to
present a low-resource training recipe for data-efficient learning. By
outperforming established baselines, especially in the small data regime, we
demonstrate the efficiency and effectiveness of our framework for multiple
applications.
- Abstract(参考訳): 動作概念としての低レベル動作と高レベル記述の両方をキャプチャする,人間の行動の階層的な動作表現であるProgrammatic Motion Conceptsを紹介する。
この表現は、人間の動作記述、インタラクティブな編集、および単一のフレームワーク内で新規なビデオシーケンスの制御された合成を可能にする。
本稿では,この概念表現を半教師あり方式でペア映像とアクションシーケンスから学習するアーキテクチャを提案する。
表現のコンパクトさにより、データ効率の学習のための低リソースのトレーニングレシピも提示できる。
確立したベースライン,特に小さなデータ構造において,我々は,複数のアプリケーションに対するフレームワークの効率性と有効性を実証する。
関連論文リスト
- Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳(メタデータ) (2023-12-14T12:57:35Z) - Sample Efficient Multimodal Semantic Augmentation for Incremental
Summarization [13.529904498331673]
タスクビデオの漸進的な要約のためのプロンプト手法を開発した。
既存のモデルを用いて画像から意味概念を抽出する。
関連データセットに結果を示し、作業の可能な方向性について議論する。
論文 参考訳(メタデータ) (2023-03-08T03:58:06Z) - LARNet: Latent Action Representation for Human Action Synthesis [3.3454373538792552]
我々は、人間のアクションビデオを生成するための新しいエンドツーエンドアプローチであるLARNetを提案する。
我々は、推論中に駆動ビデオが不要になるのを避けるために、潜時空間でのアクションダイナミクスを学習する。
提案手法を実世界の4つの行動データセットで評価する。
論文 参考訳(メタデータ) (2021-10-21T05:04:32Z) - Modeling long-term interactions to enhance action recognition [81.09859029964323]
本稿では,フレームレベルと時間レベルの両方でオブジェクト間の相互作用のセマンティクスを利用する,エゴセントリックなビデオのアンダースタンドアクションに対する新しいアプローチを提案する。
ユーザの手とほぼ対応するプライマリ領域と、相互作用するオブジェクトに対応する可能性のあるセカンダリ領域のセットを入力として、領域ベースのアプローチを使用する。
提案手法は, 標準ベンチマークの動作認識において, 最先端技術よりも優れている。
論文 参考訳(メタデータ) (2021-04-23T10:08:15Z) - Hierarchical Motion Understanding via Motion Programs [23.288517329229943]
動作を高レベルプリミティブの構成として表現する,ニューロシンボリックなプログラムライクな表現であるモーションプログラムを紹介する。
また,人間の動画から自動的に動作プログラムを誘導し,映像合成における動作プログラムを活用するシステムを提案する。
私たちの表現は、ビデオやビデオの予測といった下流のタスクにも役立ち、既成モデルよりも優れています。
論文 参考訳(メタデータ) (2021-04-22T17:49:59Z) - Self-supervised Video Object Segmentation by Motion Grouping [79.13206959575228]
動きの手がかりを利用して物体をセグメンテーションできるコンピュータビジョンシステムを開発した。
本稿では,光フローフレームを一次オブジェクトと背景に分割するトランスフォーマーの簡単なバリエーションを紹介する。
提案したアーキテクチャを公開ベンチマーク(DAVIS2016, SegTrackv2, FBMS59)で評価する。
論文 参考訳(メタデータ) (2021-04-15T17:59:32Z) - Neuro-Symbolic Representations for Video Captioning: A Case for
Leveraging Inductive Biases for Vision and Language [148.0843278195794]
ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。
本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
論文 参考訳(メタデータ) (2020-11-18T20:21:19Z) - Towards Modality Transferable Visual Information Representation with
Optimal Model Compression [67.89885998586995]
本稿では,伝達可能なモダリティの原理を活かした視覚信号表現手法を提案する。
提案するフレームワークは最先端のビデオコーディング標準に実装されている。
論文 参考訳(メタデータ) (2020-08-13T01:52:40Z) - Hierarchical Contrastive Motion Learning for Video Action Recognition [100.9807616796383]
本稿では,映像フレームから効果的な動き表現を抽出する自己教師型学習フレームワークである階層型コントラスト学習を提案する。
提案手法は,ネットワーク内の異なる抽象レベルに対応する動作特徴の階層構造を段階的に学習する。
私たちのモーション学習モジュールは軽量で柔軟性があり、様々なバックボーンネットワークに組み込むことができます。
論文 参考訳(メタデータ) (2020-07-20T17:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。