論文の概要: TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control
- arxiv url: http://arxiv.org/abs/2610.02867v1
- Date: Fri, 02 Oct 2026 06:06:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.238141
- Title: TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control
- Title(参考訳): TACD:終端増幅制御による効率的なテキスト間移動モデルの蒸留
- Abstract要約: TACD (terminal-Amplification-Controlled Distillation) は、効率的なモーションジェネレータを訓練するためのオンラインアプローチである。
本研究は, オンライン蒸留法を用いて, 学生が生成した軌跡に沿ったクリーンモーション予測を監督する。
- 参考スコア(独自算出の注目度): 61.31878177726721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-motion models have improved motion quality and instruction following, yet many-step denoising and large model components make deployment slow and memory-intensive. We present Terminal-Amplification-Controlled Distillation (TACD), an on-policy approach for training efficient motion generators from text prompts and pretrained teachers, without real-motion training data. Building on segmented on-policy flow distillation, we supervise clean-motion predictions along student-generated trajectories. We identify a failure mode in which velocity matching on a fixed supervision grid repeatedly overweights errors near the denoising endpoint, degrading few-step generation. TACD ties the latest teacher query to the student's step size, bounding the effective loss weights in clean-motion space without changing inference. Experiments on HumanML3D and KIT-ML demonstrate improved few-step generation, including a 58% reduction in eight-step HY-Motion student FID relative to distillation without this bound. For diffusion teachers, the endpoint-matching form of TACD yields four-step students with lower FID and matched or improved text-motion retrieval relative to their 50-step teachers on HumanML3D. On HY-Motion and Kimodo, eight-step students with compact components achieve 7.7-11.9x end-to-end speedups and reduce peak GPU memory by 3.8-6.7x relative to their teachers. Project page: https://vkgo.github.io/TACD/
- Abstract(参考訳): 近年のテキスト・トゥ・ムーブメント・モデルでは、動作品質と命令の順に改善されているが、多くのステップのデノナイズと大きなモデルコンポーネントは、デプロイを遅くし、メモリ集約化している。
実動訓練データなしで,テキストプロンプトや予習教師から効率的な運動生成器を訓練するためのオンラインアプローチである終端増幅蒸留(TACD)を提案する。
本研究は, オンライン蒸留法を用いて, 学生が生成した軌跡に沿ったクリーンモーション予測を監督する。
固定された監視グリッド上でのベロシティマッチングがデノナイジングエンドポイント付近で繰り返しエラーを過度に重み付けし、数ステップ生成を劣化させる障害モードを同定する。
TACDは、最新の教師クエリを学生のステップサイズに結び付け、推論を変えることなくクリーンモーション空間における効果的な損失重みを拘束する。
また,HumanML3DおよびKIT-MLを用いた実験では,8段階のHY-Motion学生FIDを58%減少させるなど,数段階生成の改善が見られた。
拡散教師の場合、TACDのエンドポイントマッチング形式は、低いFIDを持つ4段階の学生を輩出し、HumanML3D上の50段階の教師と比較してテキスト移動検索に適合または改善する。
HY-MotionとKimodoでは、コンパクトなコンポーネントを持つ8ステップの学生が7.7-11.9xのエンドツーエンドのスピードアップを達成し、ピークGPUメモリを教師と比較して3.8-6.7倍削減する。
プロジェクトページ: https://vkgo.github.io/TACD/
関連論文リスト
- DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models [25.918853227970885]
分散マッチング蒸留(DMD)は、数ステップのビデオ生成を可能にする。
弱い再雑音は、教師が運動不足のロールアウトの近くに後続に集中させます。
強い動きのロールアウトは、より大きなフェイクスコアのフィッティングエラーを引き起こす傾向がある。
教師の指導と批判を両立させるDyMDフレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-25T14:47:17Z) - Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation [8.736935937857192]
Trajectory-Shaped Discrete Flow Matchingは、ブラインドジャンプをガイドナビゲーションに置き換える。
170M-024言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低い難易度を達成する。
論文 参考訳(メタデータ) (2026-05-08T15:58:22Z) - SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
ツール統合推論は、小さな言語モデルにスケールすることが難しい。
近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。
スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
論文 参考訳(メタデータ) (2026-05-08T13:30:42Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳(メタデータ) (2026-04-27T03:38:27Z) - Training-Free Motion Customization for Distilled Video Generators with Adaptive Test-Time Distillation [53.877572078307935]
蒸留ビデオ生成モデルは、高速で効率的なが、参照ビデオによってガイドされるときの動きのカスタマイズに苦労する。
拡散教師の強制力を活用して運動のカスタマイズを可能にする訓練不要な試験時間蒸留フレームワークであるMotionEchoを提案する。
論文 参考訳(メタデータ) (2025-06-24T06:20:15Z) - REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。
最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。
生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。
HASTEを紹介する
論文 参考訳(メタデータ) (2025-05-22T15:34:33Z) - Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳(メタデータ) (2024-09-19T07:05:26Z) - DiMS: Distilling Multiple Steps of Iterative Non-Autoregressive
Transformers for Machine Translation [9.342645867445658]
本研究では,Distill Multiple Steps (DiMS)を導入し,特定の翻訳品質に到達するために必要なステップ数を削減した。
単一ステップの翻訳精度において、7.8 と 12.9 のBLEU 点の改善が得られる様々なモデルにおける DiMS の有効性を検証する。
論文 参考訳(メタデータ) (2022-06-07T04:25:41Z) - Sparse Distillation: Speeding Up Text Classification by Using Bigger
Models [49.8019791766848]
最先端の変圧器モデルを軽量の学生モデルに拡張することは、推論時の計算コストを削減する効果的な方法である。
本稿では,学生モデルの設計空間における新しい領域を探索することにより,推論速度の限界をさらに推し進めることを目的とする。
実験の結果,RoBERTa-Large教師の授業成績の97%を6つのテキスト分類タスクのコレクションに保持していることがわかった。
論文 参考訳(メタデータ) (2021-10-16T10:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。