論文の概要: CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction
- arxiv url: http://arxiv.org/abs/2611.15101v1
- Date: Wed, 11 Nov 2026 06:28:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.064263
- Title: CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction
- Title(参考訳): CFGComposer:コピュラスコア補正による合成音声テキスト変換
- Abstract要約: 音声テキスト対運動問題に対して,独立に学習した2つの拡散モデルを作成する。
我々はコプラスコア$s_I$をモデル化することにより,関節推論におけるバイアスを緩和する。
BEATの実験では、クラス内のセマンティック忠実度が最良であることが示されている。
- 参考スコア(独自算出の注目度): 15.428094663744632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating whole-body gestures that are simultaneously rhythmically synchronized with speech audio and semantically aligned with text descriptions is a fundamental challenge in embodied AI and social robotics. We tackle this Audio-Text-to-Motion (AT2M) problem by composing two independently-trained diffusion models at inference time and refine bias in joint inference by modeling the copula score $s_I$. A rigorous theoretical analysis reveals that naive epsilon blending corresponds to a Product-of-Experts formulation that omits the copula score $s_I$: the cross-modal interaction between audio and text that neither marginal model can capture. We propose CFGComposer: a jointly-trained AT2M diffusion model that estimates $s_I$ via a CFG analogy and injects it as an $ε$-space correction. Experiments on BEAT demonstrate best-in-class semantic fidelity (SRGR $0.9916$, FID $27.18$) with GT-level beat alignment (BA $0.1826$ vs. GT $0.1743$), and 76-83% win rate in blind pairwise human evaluation against all prior methods. Physical deployment on a Unitree G1 humanoid confirms direct sim-to-real transfer.
- Abstract(参考訳): 音声音声と同時に同期し、テキスト記述とセマンティックに一致した全身ジェスチャーを生成することは、AIと社会ロボティクスの具体化における根本的な課題である。
本研究では,2つの独立学習拡散モデルを推論時に合成し,コプラスコアを$s_I$でモデル化することで,このAt2M(At2M)問題に対処する。
厳密な理論的分析により、ナイーブなエプシロンブレンディングは、コプラスコアを省略するProduct-of-Expertsの定式化に対応していることが明らかになった。
CFGアナログを用いて$s_I$を推定し,ε$空間補正として注入するAT2M拡散モデルであるCFGComposerを提案する。
BEATの実験では、GTレベルのビートアライメント(BA $0.1826$ vs. GT $0.1743$)と盲対評価における76-83%の勝利率(SRGR $0.9916$, FID $27.18$)が示されている。
ユニツリーG1ヒューマノイド上の物理的展開は、直接sim-to-real転送を確認する。
関連論文リスト
- DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳(メタデータ) (2026-07-31T16:11:46Z) - Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。
SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。
トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
論文 参考訳(メタデータ) (2026-07-14T18:39:29Z) - Collective Alignment in LLM Multi-Agent Systems: Disentangling Bias from Cooperation via Statistical Physics [0.0]
そこで,本研究では,本態性バイアスから社会的整合性を解き,臨界指数を計算し,マルチエージェントシステムの集合的挙動と相転移を探索するモデルに依存しない統計的物理法を提案する。
集合的アライメントは、協調的な隣り合う結合よりも本質的なバイアスによって支配され、真の相転移の代わりに場駆動のクロスオーバーを生成する。
論文 参考訳(メタデータ) (2026-05-11T13:13:44Z) - Hardware-Agnostic Modeling of Quantum Side-Channel Leakage via Conditional Dynamics and Learning from Full Correlation Data [0.0]
本研究では,敵プローブキュービットが隠れゲートシーケンス中にターゲットキュービットと相互作用するシーケンシャルサイドチャネルモデルについて検討する。
同じシークエンスを$N$ショットで繰り返すと、経験的な完全相関レコードが得られる。
広帯域結合とノイズグリッドの実験により、予測された結合帯域付近で厳密なシーケンス回復が集中していることが示されている。
論文 参考訳(メタデータ) (2026-02-17T19:33:23Z) - UniF$^2$ace: A Unified Fine-grained Face Understanding and Generation Model [62.66515621965686]
本稿では,2次元離散拡散(D3Diff)損失を伴う新しい理論枠組みを導入し,離散的なスコアマッチング拡散を伴うマスク付き生成モデルを統一する。
このD3Diffは、テキスト入力に沿った高忠実度顔の詳細を合成するモデルの能力を大幅に向上させる。
提案するUniF$2$aceD-1Mは,130Kの微細な画像キャプチャ対と100Mの視覚的質問応答対からなる大規模データセットである。
論文 参考訳(メタデータ) (2025-03-11T07:34:59Z) - UNSSOR: Unsupervised Neural Speech Separation by Leveraging
Over-determined Training Mixtures [60.879679764741624]
残響状態においては、各マイクは異なる場所で複数の話者の混合信号を取得する。
我々は、$textbfu$nsupervised $textbfn$euralのアルゴリズムUNSSORを提案する。
この損失は、教師なし話者の分離を促進することが示される。
論文 参考訳(メタデータ) (2023-05-31T17:28:02Z) - JETS: Jointly Training FastSpeech2 and HiFi-GAN for End to End Text to
Speech [7.476901945542385]
本稿では、簡易な訓練パイプラインを持ち、個別に学習したモデルのカスケードを上回り、エンドツーエンドのテキスト音声合成(E2E-TTS)モデルを提案する。
提案モデルでは,アライメントモジュールを用いたFastSpeech2とHiFi-GANを併用する。
LJSpeechコーパスの実験では、提案されたモデルはESPNet2-TTSの最先端実装よりも優れていた。
論文 参考訳(メタデータ) (2022-03-31T07:25:11Z) - A Conformer Based Acoustic Model for Robust Automatic Speech Recognition [63.242128956046024]
提案手法は,二方向長短期記憶(BLSTM)モデルと発話ワイドドロップアウトと反復話者適応を用いて,最先端の音声認識システムを構築した。
コンフォーマーエンコーダは、音響モデリングに畳み込み強化されたアテンションメカニズムを使用する。
提案システムはCHiME-4コーパスの単調なASRタスクに基づいて評価される。
論文 参考訳(メタデータ) (2022-03-01T20:17:31Z) - Regularizing End-to-End Speech Translation with Triangular Decomposition
Agreement [27.87144563354033]
本稿では,三重項データにおける二経路分解の整合性を改善するためのモデルトレーニングのための新しい正規化手法を提案する。
MuST-Cベンチマーク実験により,提案手法は最先端のE2E-STベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2021-12-21T05:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。