論文の概要: Generalized Audio-Driven Synthesis of Precise Drummer Motion

• arxiv url: http://arxiv.org/abs/2608.19055v1
• Date: Wed, 19 Aug 2026 15:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.455856
• Title: Generalized Audio-Driven Synthesis of Precise Drummer Motion
• Title（参考訳）: 精密ドラムマ運動の一般化音声駆動合成
• Abstract要約: 音楽によるキャラクターアニメーションは、エンターテイメントとインタラクティブな教育における変革的な応用を可能にする。 従来のアプローチは、しばしばモーションマッチングやMIDI入力に依存するが、様々な現実世界のオーディオへの一般化に苦慮している。 ドラムスティックの精度から骨格の整合性を分離する二重目的損失関数を特徴とする生成拡散フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.329222807732789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music-driven character animation enables and enhances transformative applications in entertainment and interactive education. However, synthesizing realistic drumming motion from audio remains challenging due to the inherent tension between high-acceleration dynamics and the need for extreme spatial-temporal precision. Existing approaches, often reliant on motion matching or MIDI input, struggle with generalizing to diverse real-world audio. Moreover, the field lacks standardized evaluation metrics capable of distinguishing precise drumming from noisy motion. In this paper, we introduce a generative diffusion framework featuring a dual-objective loss function that decouples skeletal integrity from drumstick precision, thus enabling centimeter-level stick precision without sacrificing natural body dynamics. Additionally, leveraging our own dataset and data augmentation strategy, the model generalizes to non-curated, in-the-wild audio. To rigorously evaluate performance, we propose two novel metrics: an impact-to-target distance to quantify spatial precision and an audio-motion correlation score to assess temporal alignment. Our quantitative analysis and user studies demonstrate that our system generates high-quality motion that is often indistinguishable from ground-truth performances.
• Abstract（参考訳）: 音楽によるキャラクターアニメーションは、エンターテイメントとインタラクティブな教育における変革的な応用を可能にし、強化する。 しかし、高加速度ダイナミクスと極端空間時間精度の必要性により、オーディオから現実的なドラム動作を合成することは依然として困難である。 既存のアプローチは、しばしばモーションマッチングやMIDI入力に依存し、様々な現実世界のオーディオに一般化するのに苦労する。 さらに、音場は、ノイズ運動と正確なドラム演奏を区別できる標準化された評価指標を欠いている。 本稿では、ドラムスティックの精度から骨格の整合性を分離し、自然体力学を犠牲にすることなくセンチメートルレベルのスティックの精度を実現できる二重目的損失関数を特徴とする生成拡散フレームワークを提案する。 さらに、当社のデータセットとデータ拡張戦略を活用して、非キュレートなインザワイルドオーディオに一般化する。 本研究では,空間的精度を定量化するためのインパクト・ツー・ターゲット距離と,時間的アライメントを評価するための音声・モーション相関スコアの2つの新しい指標を提案する。 定量的分析とユーザスタディにより,本システムでは,地道性能と区別できないような高品質な動作が生じることが示された。

関連論文リスト

• Synthetic-to-Real Translation for Class-Agnostic Motion Prediction [64.55842058684583]
  動き予測のための合成から現実への翻訳の可能性について検討する。 本稿では,動作知識翻訳フレームワークを2つの重要なコンポーネントに統合する新しいアプローチを提案する。 SRMP研究に適した最初の合成4D LiDARデータセットであるMotion4Dを生成するための物理ベースパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-07-07T14:19:22Z)
• Real-Time Interactive Music Generation via Data-Free Streaming Consistency Distillation [1.3115273020229667]
  インタラクティブ音楽は人間のリアルタイム表現に依存している。 現代の生成音楽AIは、この領域にはほとんど欠落している。 このギャップを埋めるフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-23T08:37:15Z)
• Personalizing Causal Audio-Driven Facial Motion via Dynamic Multi-modal Retrieval [16.85147888618743]
  因果顔の動き生成をパーソナライズするためのエンドツーエンドの因果的枠組みを提案する。 本手法は, リップ同期の精度, アイデンティティの整合性, 認識リアリズムにおいて, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-04-26T13:15:08Z)
• NarraScore: Bridging Visual Narrative and Musical Dynamics via Hierarchical Affective Control [59.6128550986024]
  ナラスコア(NarraScore)は、感情が物語論理の高密度圧縮として働くという中心的な洞察に基づく階層的なフレームワークである。 NarraScoreは、グローバルな構造とローカルなダイナミズムを調和させるために、Dual-Branch Injection戦略を採用している。 NarraScoreは、無視可能な計算オーバーヘッドを伴う最先端の一貫性と物語のアライメントを実現している。
  論文  参考訳（メタデータ） (2026-02-09T09:39:42Z)
• PAVAS: Physics-Aware Video-to-Audio Synthesis [58.746986798623084]
  本稿では、物理推論を潜伏拡散に基づくV2A生成に組み込む手法であるPAVAS(Physical-Aware Video-to-Audio Synthesis)を提案する。 PAVASは物理的に可塑性かつ知覚的にコヒーレントな音声を生成し、定量評価と定性評価の両方において既存のV2Aモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-12-09T06:28:50Z)
• RAP: Real-time Audio-driven Portrait Animation with Video Diffusion Transformer [36.828476646865305]
  RAP(Real-time Audio-driven Portrait animation)は,リアルタイム制約下で高品質な音声画像を生成するための統合フレームワークである。 RAPは正確な音声駆動制御を実現し、長期の時間的ドリフトを緩和し、高い視力を維持する。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• Punching Bag vs. Punching Person: Motion Transferability in Videos [5.302871580118083]
  行動認識モデルは強力な一般化を示すが、多様な文脈にまたがるハイレベルな動きの概念を効果的に伝達できるのか? 本研究では,3次元物体の動きを持つ合成データセットであるSyn-TA,Kineetics400-TA,および自然ビデオデータセットから適応したSomething-v2-TAの3つの動き伝達性フレームワークを提案する。 これらのベンチマークで13の最先端モデルを評価し、新しい文脈におけるハイレベルな動作を認識する際に、性能の大幅な低下を観察する。
  論文  参考訳（メタデータ） (2025-07-31T18:19:20Z)
• MOSPA: Human Motion Generation Driven by Spatial Audio [83.31594478750682]
  本稿では,多種多様で高品質な空間音声・動きデータを含む,空間音声駆動型人体運動データセットについて紹介する。 本研究では,身体運動と空間音声の関係を忠実に把握する,MOSPAと呼ばれるスパティアルオーディオによって駆動される人間の運動生成のためのフレームワークを開発する。 本手法は,本課題における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-07-16T06:33:11Z)
• Multi-Timescale Motion-Decoupled Spiking Transformer for Audio-Visual Zero-Shot Learning [73.7808110878037]
  本稿では,MDST++(Multi-Timescale Motion-Decoupled Spiking Transformer)を提案する。 RGB画像をイベントに変換することで、より正確に動き情報をキャプチャし、背景のバイアスを軽減する。 本実験はMDST++の有効性を検証し,主流ベンチマークにおける最先端手法よりも一貫した優位性を示した。
  論文  参考訳（メタデータ） (2025-05-26T13:06:01Z)
• Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation [88.83749146867665]
  既存のアプローチは、遠く離れた次のベストなエンドエフェクタのポーズを予測するポリシーを学びます。 すると、運動に対する対応する関節回転角を逆運動学を用いて計算する。 本稿では,Kinematics 拡張空間テンポアル gRaph diffuser を提案する。
  論文  参考訳（メタデータ） (2025-03-13T17:48:35Z)
• MATE: Motion-Augmented Temporal Consistency for Event-based Point Tracking [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 事象の間隔に起因する曖昧さを解決するため、運動誘導モジュールは運動ベクトルを局所的なマッチングプロセスに組み込む。 このメソッドは、任意のポイントベースラインのイベントのみのトラッキングに対して、$Survival_50$メトリックを17.9%改善する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• Learning Style-Aware Symbolic Music Representations by Adversarial Autoencoders [9.923470453197657]
  我々は,文脈情報を用いた変動型オートエンコーダを組み込むための,フレキシブルで自然な手段として,逆正則化を活用することに注力する。 第1回音楽Adversarial Autoencoder(MusAE)について紹介する。 我々のモデルは、標準変分オートエンコーダに基づく最先端モデルよりも高い再構成精度を有する。
  論文  参考訳（メタデータ） (2020-01-15T18:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。