論文の概要: Choreographing the Digital Canvas: A Machine Learning Approach to Artistic Performance

• arxiv url: http://arxiv.org/abs/2404.00054v1
• Date: Tue, 26 Mar 2024 01:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-07 23:07:46.857231
• Title: Choreographing the Digital Canvas: A Machine Learning Approach to Artistic Performance
• Title（参考訳）: デジタルキャンバスの選択 - 芸術的パフォーマンスに対する機械学習アプローチ
• Authors: Siyuan Peng, Kate Ladenheim, Snehesh Shrestha, Cornelia Fermüller,
• Abstract要約: 本稿では,属性記述に基づく芸術演奏のためのデザインツールについて紹介する。 このプラットフォームは、新しい機械学習(ML)モデルとインタラクティブインターフェースを統合して、芸術的な動きを生成、視覚化する。
• 参考スコア（独自算出の注目度）: 9.218587190403174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the concept of a design tool for artistic performances based on attribute descriptions. To do so, we used a specific performance of falling actions. The platform integrates a novel machine-learning (ML) model with an interactive interface to generate and visualize artistic movements. Our approach's core is a cyclic Attribute-Conditioned Variational Autoencoder (AC-VAE) model developed to address the challenge of capturing and generating realistic 3D human body motions from motion capture (MoCap) data. We created a unique dataset focused on the dynamics of falling movements, characterized by a new ontology that divides motion into three distinct phases: Impact, Glitch, and Fall. The ML model's innovation lies in its ability to learn these phases separately. It is achieved by applying comprehensive data augmentation techniques and an initial pose loss function to generate natural and plausible motion. Our web-based interface provides an intuitive platform for artists to engage with this technology, offering fine-grained control over motion attributes and interactive visualization tools, including a 360-degree view and a dynamic timeline for playback manipulation. Our research paves the way for a future where technology amplifies the creative potential of human expression, making sophisticated motion generation accessible to a wider artistic community.
• Abstract（参考訳）: 本稿では,属性記述に基づく芸術演奏のためのデザインツールについて紹介する。 そのために、転倒アクションの特定のパフォーマンスを使用しました。 このプラットフォームは、新しい機械学習(ML)モデルとインタラクティブインターフェースを統合して、芸術的な動きを生成、視覚化する。 我々のアプローチのコアは、モーションキャプチャ(MoCap)データからリアルな3次元人体の動きを捕捉・生成する課題に対処するために開発された、循環型属性合成変分オートコーダ(AC-VAE)モデルである。 我々は、動きを3つの異なるフェーズ(Impact、Glitch、Fall)に分割する新しいオントロジーを特徴とする、落下運動のダイナミクスに焦点を当てたユニークなデータセットを作成しました。 MLモデルのイノベーションは、これらのフェーズを別々に学ぶ能力にある。 自然かつ可塑性な動きを生成するために、包括的データ拡張技術と初期ポーズ損失関数を適用することで実現される。 私たちのWebベースのインターフェースは、アーティストがこの技術を利用するための直感的なプラットフォームを提供し、モーション属性のきめ細かいコントロールと、360度ビューや再生操作のための動的タイムラインを含むインタラクティブな視覚化ツールを提供します。 我々の研究は、テクノロジーが人間の表現の創造性を増幅し、より広い芸術的コミュニティに洗練された動きを生み出す未来への道を開く。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• Haptic Repurposing with GenAI [5.424247121310253]
  Mixed Realityは、デジタル世界と物理的な世界を融合して、没入型人間とコンピュータのインタラクションを作ることを目指している。 本稿では,Haptic Repurposing with GenAIを紹介し,任意の物理オブジェクトをAI生成仮想アセットの適応型触覚インターフェースに変換することによってMRインタラクションを強化する革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-11T13:06:28Z)
• SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering [45.51684124904457]
  統合されたフレームワークにおける時間的ダイナミクスと人間の外見をモデル化する新しい4DモーションパラダイムであるSurMoを提案する。 効率的なコンパクトな表面ベース三面体で4次元の人間の動きをモデル化する表面ベースの動き符号化。 身体運動学習を促進するために設計された身体運動復号法。 表面条件の効率的なデコードにより、モーショントリプレーンを画像にレンダリングする4次元の外観モデリング。
  論文  参考訳（メタデータ） (2024-04-01T16:34:27Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
  ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。 我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
  論文  参考訳（メタデータ） (2020-07-09T17:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。