論文の概要: FFMT: Frequency-Factorized Multi-Rate Tokenization for Music-to-Dance Generation
- arxiv url: http://arxiv.org/abs/2611.07384v1
- Date: Thu, 05 Nov 2026 03:35:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.501816
- Title: FFMT: Frequency-Factorized Multi-Rate Tokenization for Music-to-Dance Generation
- Title（参考訳）: FFMT:音楽対ダンス生成のための周波数差多重レートトークン化
- Abstract要約: 周波数分解型モーショントークン化(FFMT)を導入し,ルート相対運動を低周波振付と相補的な高周波残差に分離する。
AIST++とFineDanceの実験は、現実的な多様性と音楽の同期を保ちながら、強い分布の忠実さを示す。
- 参考スコア（独自算出の注目度）: 4.307569079030073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dance motion combines slowly varying body configurations with rapid local movements. We investigate how explicit temporal-frequency decomposition can guide the temporal resolution and codebook capacity of discrete motion representations. We introduce frequency-factorized motion tokenization (FFMT), which separates root-relative motion into a low-frequency choreographic scaffold and a complementary high-frequency residual. FFMT uses a lower token rate and a smaller codebook for the low-frequency component, and a higher token rate and a larger codebook for the high-frequency residual. This representation further induces a plan-then-articulate autoregressive factorization: low-frequency tokens establish coarse choreography, while high-frequency tokens realize local motion details conditioned on the generated plan and music. Experiments on AIST++ and FineDance show strong distributional fidelity while preserving realistic diversity and music--motion synchronization. Ablations consistently support frequency factorization, asymmetric temporal allocation, and low-to-high conditioning.
- Abstract（参考訳）: ダンスの動きは、ゆっくりと変化する身体構成と急激な局所的な動きを組み合わせたものである。
本研究では, 時間周波数分解が時間分解能, コードブック容量をいかに向上させるかを検討する。
周波数分解型モーショントークン化(FFMT)を導入し,ルート相対運動を低周波振付と相補的な高周波残差に分離する。
FFMTは低周波成分に対して低いトークンレートとより小さいコードブックを使用し、高いトークンレートと高周波残留のためのより大きなコードブックを使用する。
低周波トークンは粗いコレオグラフィを確立する一方、高周波トークンは生成されたプランと音楽に条件付けられた局所的な動きの詳細を実現する。
AIST++とFineDanceの実験は、現実的な多様性と音楽の同期を保ちながら、強い分布の忠実さを示す。
アブレーションは、周波数分解、非対称時間割当、低-高条件をサポートする。
関連論文リスト
- Rethinking Fixed Temporal Grids: Frequency-Disentangled Motion Generation [41.83257990154408]
ほとんどの動き生成法は、一様時間格子上のトークンとして動きを符号化する。
ウェーブレット周波数帯域に運動を分解するスケール適応型動作表現である textbfFreqMo を提案する。
実験の結果、FreqMoはSOTAの忠実度を向上し、高周波保存を大幅に改善した。
論文 参考訳（メタデータ） (2026-10-02T08:44:25Z) - WaveZip: Wavelet-Driven Space-Time Decoupling for Video Token Condensation [69.37452950816122]
WaveZipは、効率的なビデオ推論のための共同信号周波数領域フレームワークである。
長いビデオ理解ベンチマークの実験では、WaveZipは完全なパフォーマンスの99.6%を維持している。
論文 参考訳（メタデータ） (2026-07-25T16:05:22Z) - FATE: Pillar Encoding and Frequency-Aware Training for Event-Based Object Detection [0.0]
イベントカメラは、高速かつ高ダイナミックレンジのシナリオに固有の利点を提供する。
現在のアプローチでは、蓄積ウィンドウを固定時間サブビンに分割する。
本稿では,新しい空間的枠組みを基盤とした統合フレームワークであるFATEを提案する。
論文 参考訳（メタデータ） (2026-06-15T22:32:09Z) - HyFAD: Hybrid Time-Frequency Diffusion with Frequency-Aware Embedding for Time Series Imputation [10.212955864311589]
時系列計算のための時間周波数拡散モデルである textbfHyFAD を提案する。
周波数領域拡散プロセスは高周波スペクトル成分を洗練させる一方、低周波グローバルトレンドを捉える。
複数のベンチマークデータセットの実験は、HyFADが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-06-03T06:03:37Z) - SRENet: Spectral Re-Entry Network for Point Cloud Action Recognition [49.508770157706486]
本研究では,行動認識の周波数視点から,大域的文脈と微粒な動きの時間的ダイナミクスを学習するためのSRENetを提案する。
SRENetは、ポイントクラウドベースのアクション理解における周波数モデリングの有効性を検証し、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-06-02T05:11:47Z) - FreqFormer: Hierarchical Frequency-Domain Attention with Adaptive Spectral Routing for Long-Sequence Video Diffusion Transformers [0.0]
本稿ではFreqFormerについて紹介する。
トークンの特徴は、異なる演算子を持つスペクトルバンドに分割される。
FreqFormerは、推定アテンションFLOPとKV関連のメモリトラフィックを高密度アテンションに対して大幅に削減する。
論文 参考訳（メタデータ） (2026-04-14T08:29:10Z) - Towards Arbitrary Motion Completing via Hierarchical Continuous Representation [64.6525112550758]
Inlicit Representations(INR)に基づくNAMEと呼ばれる新しいパラメトリックアクティベーションによる階層的暗黙表現フレームワークを提案する。
本手法では,複数の時間スケールで動作列から特徴を抽出し,複雑な時間パターンを効果的に捕捉する階層的時間符号化機構を提案する。
論文 参考訳（メタデータ） (2025-12-24T14:07:04Z) - PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。
本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。
解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
論文 参考訳（メタデータ） (2025-11-14T05:56:47Z) - FTMoMamba: Motion Generation with Frequency and Text State Space Models [53.60865359814126]
本稿では,周波数状態空間モデルとテキスト状態空間モデルを備えた新しい拡散型FTMoMambaフレームワークを提案する。
微細な表現を学ぶために、FreqSSMは配列を低周波成分と高周波成分に分解する。
テキストと動作の一貫性を確保するために、TextSSMはテキスト機能を文レベルでエンコードする。
論文 参考訳（メタデータ） (2024-11-26T15:48:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。