論文の概要: Programmatic Concept Learning for Human Motion Description and Synthesis

• arxiv url: http://arxiv.org/abs/2206.13502v1
• Date: Mon, 27 Jun 2022 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 12:22:54.625223
• Title: Programmatic Concept Learning for Human Motion Description and Synthesis
• Title（参考訳）: 人間の動作記述と合成のためのプログラム概念学習
• Authors: Sumith Kulal, Jiayuan Mao, Alex Aiken, Jiajun Wu
• Abstract要約: 本稿では,人間の行動の階層的な動作表現であるプログラム運動概念を紹介する。 この表現は、人間の動作記述、インタラクティブな編集、新しいビデオシーケンスの制御された合成を可能にする。 本稿では、この概念表現を、半教師付き方式でペア化されたビデオとアクションシーケンスから学習するアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 24.012518393988344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Programmatic Motion Concepts, a hierarchical motion representation for human actions that captures both low-level motion and high-level description as motion concepts. This representation enables human motion description, interactive editing, and controlled synthesis of novel video sequences within a single framework. We present an architecture that learns this concept representation from paired video and action sequences in a semi-supervised manner. The compactness of our representation also allows us to present a low-resource training recipe for data-efficient learning. By outperforming established baselines, especially in the small data regime, we demonstrate the efficiency and effectiveness of our framework for multiple applications.
• Abstract（参考訳）: 動作概念としての低レベル動作と高レベル記述の両方をキャプチャする,人間の行動の階層的な動作表現であるProgrammatic Motion Conceptsを紹介する。 この表現は、人間の動作記述、インタラクティブな編集、および単一のフレームワーク内で新規なビデオシーケンスの制御された合成を可能にする。 本稿では,この概念表現を半教師あり方式でペア映像とアクションシーケンスから学習するアーキテクチャを提案する。 表現のコンパクトさにより、データ効率の学習のための低リソースのトレーニングレシピも提示できる。 確立したベースライン,特に小さなデータ構造において,我々は,複数のアプリケーションに対するフレームワークの効率性と有効性を実証する。

関連論文リスト

• KinMo: Kinematic-aware Human Motion Understanding and Generation [6.962697597686156]
  テキストに基づく人間の動きの制御は、コンピュータビジョンにおいて重要な課題である。 伝統的なアプローチは、しばしば運動合成のための全体論的な行動記述に依存している。 動作を別個の体節群運動に分解する動き表現を提案する。
  論文  参考訳（メタデータ） (2024-11-23T06:50:11Z)
• MotionCom: Automatic and Motion-Aware Image Composition with LLM and Video Diffusion Prior [51.672193627686]
  MotionComは、トレーニングなしのモーションアウェア拡散に基づく画像合成である。 ターゲットオブジェクトを動的にコヒーレントな結果で新しいシーンにシームレスに統合することを可能にする。
  論文  参考訳（メタデータ） (2024-09-16T08:44:17Z)
• MotionLLM: Understanding Human Behaviors from Human Motions and Videos [40.132643319573205]
  この研究は、人間の行動理解の多様性(ビデオと運動のモダリティ)の領域を掘り下げる。 我々は、人間の動作理解、キャプション、推論のためのフレームワークであるMotionLLMを紹介する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:50Z)
• FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis [65.85686550683806]
  そこで本稿では, 条件付き動作分布を用いて, 単独動作と多人数動作を統一する動き生成手法を提案する。 筆者らの枠組みに基づいて,現在ある一対一動作空間制御手法をシームレスに統合し,多対一動作の正確な制御を実現する。
  論文  参考訳（メタデータ） (2024-05-24T17:57:57Z)
• LARNet: Latent Action Representation for Human Action Synthesis [3.3454373538792552]
  我々は、人間のアクションビデオを生成するための新しいエンドツーエンドアプローチであるLARNetを提案する。 我々は、推論中に駆動ビデオが不要になるのを避けるために、潜時空間でのアクションダイナミクスを学習する。 提案手法を実世界の4つの行動データセットで評価する。
  論文  参考訳（メタデータ） (2021-10-21T05:04:32Z)
• Modeling long-term interactions to enhance action recognition [81.09859029964323]
  本稿では,フレームレベルと時間レベルの両方でオブジェクト間の相互作用のセマンティクスを利用する,エゴセントリックなビデオのアンダースタンドアクションに対する新しいアプローチを提案する。 ユーザの手とほぼ対応するプライマリ領域と、相互作用するオブジェクトに対応する可能性のあるセカンダリ領域のセットを入力として、領域ベースのアプローチを使用する。 提案手法は, 標準ベンチマークの動作認識において, 最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2021-04-23T10:08:15Z)
• Hierarchical Motion Understanding via Motion Programs [23.288517329229943]
  動作を高レベルプリミティブの構成として表現する,ニューロシンボリックなプログラムライクな表現であるモーションプログラムを紹介する。 また,人間の動画から自動的に動作プログラムを誘導し,映像合成における動作プログラムを活用するシステムを提案する。 私たちの表現は、ビデオやビデオの予測といった下流のタスクにも役立ち、既成モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-04-22T17:49:59Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Towards Modality Transferable Visual Information Representation with Optimal Model Compression [67.89885998586995]
  本稿では,伝達可能なモダリティの原理を活かした視覚信号表現手法を提案する。 提案するフレームワークは最先端のビデオコーディング標準に実装されている。
  論文  参考訳（メタデータ） (2020-08-13T01:52:40Z)
• Hierarchical Contrastive Motion Learning for Video Action Recognition [100.9807616796383]
  本稿では,映像フレームから効果的な動き表現を抽出する自己教師型学習フレームワークである階層型コントラスト学習を提案する。 提案手法は,ネットワーク内の異なる抽象レベルに対応する動作特徴の階層構造を段階的に学習する。 私たちのモーション学習モジュールは軽量で柔軟性があり、様々なバックボーンネットワークに組み込むことができます。
  論文  参考訳（メタデータ） (2020-07-20T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。