論文の概要: EasyTune: Efficient Step-Aware Fine-Tuning for Diffusion-Based Motion Generation
- arxiv url: http://arxiv.org/abs/2602.07967v1
- Date: Sun, 08 Feb 2026 13:29:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.896201
- Title: EasyTune: Efficient Step-Aware Fine-Tuning for Diffusion-Based Motion Generation
- Title(参考訳): EasyTune: 拡散に基づくモーション生成のための効率的なステップアウェアファインチューニング
- Authors: Xiaofeng Tan, Wanjiang Weng, Haodong Lei, Hongsong Wang,
- Abstract要約: そこで我々は,全軌道上ではなく,各聴覚ステップで微細な音の拡散を行う EasyTune を提案する。
また,選好ペアを動的に識別し,選好学習を行う自己修正選好学習機構を導入する。
実験により、EasyTuneはDRaFT-50を8.2%改善した(MM-Dist)。
- 参考スコア(独自算出の注目度): 6.674252840296312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, motion generative models have undergone significant advancement, yet pose challenges in aligning with downstream objectives. Recent studies have shown that using differentiable rewards to directly align the preference of diffusion models yields promising results. However, these methods suffer from (1) inefficient and coarse-grained optimization with (2) high memory consumption. In this work, we first theoretically and empirically identify the key reason of these limitations: the recursive dependence between different steps in the denoising trajectory. Inspired by this insight, we propose EasyTune, which fine-tunes diffusion at each denoising step rather than over the entire trajectory. This decouples the recursive dependence, allowing us to perform (1) a dense and fine-grained, and (2) memory-efficient optimization. Furthermore, the scarcity of preference motion pairs restricts the availability of motion reward model training. To this end, we further introduce a Self-refinement Preference Learning (SPL) mechanism that dynamically identifies preference pairs and conducts preference learning. Extensive experiments demonstrate that EasyTune outperforms DRaFT-50 by 8.2% in alignment (MM-Dist) improvement while requiring only 31.16% of its additional memory overhead and achieving a 7.3x training speedup. The project page is available at this link {https://xiaofeng-tan.github.io/projects/EasyTune/index.html}.
- Abstract(参考訳): 近年、運動生成モデルは大幅に進歩しているが、下流の目的と整合する上では困難が伴っている。
近年の研究では、拡散モデルの選好を直接調整するために微分可能な報酬を用いることで、有望な結果が得られることが示されている。
しかし、これらの手法は(1)非効率で粗い最適化と(2)高メモリ消費に悩まされている。
本研究は,まず,これらの制約の主な原因を理論的,実証的に同定する。
この知見から着想を得たEasyTuneを提案する。
これにより再帰的依存を分離し、(1)密度が高くきめ細かな粒度、(2)メモリ効率の最適化を実現できる。
さらに、選好運動ペアの不足により、運動報酬モデルトレーニングの可用性が制限される。
この目的のために、動的に選好ペアを識別し、選好学習を行う自己修正選好学習(SPL)機構を導入する。
大規模な実験により、EasyTuneはDRaFT-50のアライメント(MM-Dist)の改善を8.2%上回り、追加メモリオーバーヘッドの31.16%しか必要とせず、7.3倍のトレーニングスピードアップを達成した。
プロジェクトのページは、このリンク(https://xiaofeng-tan.github.io/projects/EasyTune/index.html})で見ることができる。
関連論文リスト
- Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization [83.65278205301576]
雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。
これは、サンプル間の差を最小限に抑える最適化一貫性トレーニングプロトコルによって達成される。
The Traveling Salesman Problem (TSP) と Maximal Independent Set (MIS) は、ソリューションの品質と効率の両方に関して、Fast T2Tの優位性を実証している。
論文 参考訳(メタデータ) (2025-02-05T07:13:43Z) - Filter, Correlate, Compress: Training-Free Token Reduction for MLLM Acceleration [42.60904284683844]
トークンの削減を3つの段階に分解するフレームワークを提案する。冗長トークンのフィルタリング,破棄された情報を保存トークンに関連付けること,冗長性を最小化するためにトークンを圧縮することである。
FiCoCo は LLaVA-1.5-7B/LLaVA-NeXT-7B で最大 5.7x/14.7x FLOPs の 92.8%/93.6% の性能保持を実現している。
論文 参考訳(メタデータ) (2024-11-26T18:53:51Z) - Router-Tuning: A Simple and Effective Approach for Enabling Dynamic-Depth in Transformers [35.57237027659979]
深度(MoD)の混合は、重要でない層をスキップすることで計算深度を動的に調整する。
MoDアプローチの主な課題は2つある: 1) 重要なレイヤをバイパスする際のパフォーマンス劣化のリスクを回避できるルータとともに、モデル全体をトレーニングする必要があるため、トレーニングコストが高くなる。
本稿では,小さなデータセット上でのみルータを微調整し,フルモデルトレーニングに伴う計算オーバーヘッドを大幅に削減するルータチューニングを提案する。
第2の課題として、動的深さで注意を配置するMindSkipを提案する。
論文 参考訳(メタデータ) (2024-10-17T03:23:50Z) - Diffusion Models as Optimizers for Efficient Planning in Offline RL [47.0835433289033]
拡散モデルはオフラインの強化学習タスクにおいて強い競争力を示している。
本稿では,より高速な自己回帰モデルを提案する。
これにより、能力を犠牲にすることなく、より効率的な計画を達成することができます。
論文 参考訳(メタデータ) (2024-07-23T03:00:01Z) - The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。
ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。
Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
論文 参考訳(メタデータ) (2024-02-23T08:05:23Z) - LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。
LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。
LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文 参考訳(メタデータ) (2023-05-28T15:15:48Z) - Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。
本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
論文 参考訳(メタデータ) (2023-05-27T02:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。