論文の概要: DART: Distillation-Aware Reparameterization for Training-Free LoRA Reuse in Few-Step Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2609.20051v1
- Date: Thu, 17 Sep 2026 10:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.23665
- Title: DART: Distillation-Aware Reparameterization for Training-Free LoRA Reuse in Few-Step Video Diffusion Models
- Title(参考訳): DART:Few-Step Video Diffusion Modelにおける無トレーニングロラリユースのための蒸留式再パラメータ化
- Abstract要約: そこで我々は,低ランク座標輸送と目標スケジュール応答キャリブレーションを組み合わせたDARTを提案する。
4段階のWan2.2ターゲットでは、DART-Fは関節品質スコアを0.9029から0.9227に改善し、マクロ機能保持を-0.4644から+0.1349に変更した。
- 参考スコア(独自算出の注目度): 10.908392579533354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Step distillation reduces the cost of video generation, but reusing a LoRA trained for a longer trajectory can alter its functional effect or degrade target quality. Static parameter compatibility offers one perspective on this problem; our observations show that similar measured geometry can coexist with different adapter behavior under a shortened denoising schedule. We propose DART, a training-free method that combines low-rank coordinate transport with target-schedule response calibration using forward evaluations and no source training videos. On a four-step Wan2.2 target, DART-F improves the joint quality score from 0.9029 to 0.9227 and changes macro functional retention from -0.4644 to +0.1349. Component analysis shows that calibration accounts for most of the quality improvement, while coordinate transport provides complementary gains when combined with calibration. Adapter-level results reveal positive functional effects for some adapters and strong attenuation with reduced negative functional effects for others. Evaluations on two additional targets show the same aggregate trend. These results motivate evaluating distilled-model LoRA reuse jointly through functional preservation and negative-transfer avoidance, without assuming recovery for every adapter.
- Abstract(参考訳): ステップ蒸留はビデオ生成のコストを低減させるが、長い軌道で訓練されたLoRAを再利用することで、その機能的効果を変化させたり、目標品質を低下させることができる。
静的パラメータの整合性はこの問題に一視点を与えており、我々の観測により、類似した測度は、短縮された復調スケジュールの下で異なるアダプタの挙動と共存可能であることが示されている。
フォワード評価とソーストレーニングビデオのない,低ランク座標輸送と目標スケジュール応答キャリブレーションを組み合わせたトレーニングフリーなDARTを提案する。
4段階のWan2.2ターゲットでは、DART-Fは関節品質スコアを0.9029から0.9227に改善し、マクロ機能保持を-0.4644から+0.1349に変更した。
成分分析により,キャリブレーションは品質改善の大部分を担っているのに対し,コーディネートトランスポートはキャリブレーションと組み合わせることで相補的なゲインを提供することがわかった。
アダプタレベルの結果、一部のアダプタには正の関数効果を示し、他のアダプタには負の関数効果が減少する強い減衰を示した。
2つの追加目標に対する評価は、同じ集計傾向を示している。
これらの結果は, 各アダプタの回収を前提とせず, 機能的保存と負の移動回避を通じて, 蒸留モデルLoRAの再利用を共同で評価する動機付けとなった。
関連論文リスト
- Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking [34.13651852483772]
EATrackは教師が指導するUAV追跡のための二重分岐蒸留戦略である。
生徒に強い対象表現を学習させることで、表現の弱さを補う。
5つのUAVベンチマークの実験では、EATrackは精度と速度のバランスが良好であることが示されている。
論文 参考訳(メタデータ) (2026-05-27T06:20:13Z) - Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation [52.10062792673558]
自動ストリーミングビデオ拡散モデルを実用化するために、蒸留ベースの加速が基礎となっている。
既存の方法は、すべてのロールアウト、フレーム、ピクセルを同様に信頼できる監視として扱う。
本稿では,信頼性に配慮したリワード蒸留フレームワークStream-R1を提案する。
論文 参考訳(メタデータ) (2026-05-05T15:15:30Z) - Meta-Adaptive Beam Search Planning for Transformer-Based Reinforcement Learning Control of UAVs with Overhead Manipulators under Flight Disturbances [8.618483849755604]
オーバーヘッドマニピュレータを備えたドローンは、検査、メンテナンス、コンタクトベースのインタラクションにユニークな機能を提供する。
ドローンとそのマニピュレータの動作は強く結びついており、風や制御の欠陥による小さな姿勢の変化でさえ、エンドエフェクターを意図した経路から遠ざける。
変換器をベースとしたDouble Deep Q Learning (DDQN) を用いた強化学習フレームワークを開発した。
これにより、コントローラは実際のモデル上でこれらのアクションを直接実行するのではなく、シミュレーションされたロールアウトを通じてエンドエフェクタの動きを予測できる。
論文 参考訳(メタデータ) (2026-03-27T17:08:40Z) - Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting [19.886879714344076]
Low-Rank Adaptation (LoRA)は、タスク更新を低ランクパラメータサブスペースに制限することで、ダウンストリームのパフォーマンスを改善する。
訓練されたLoRA更新は、しばしば非効率なスペクトルを示し、タスク効果は特異方向の小さなサブセットに集中している。
SVD で LoRA 更新を分解する訓練自由改良法である Spectral Surgery を提案する。
論文 参考訳(メタデータ) (2026-03-04T12:38:36Z) - MSLoRA: Multi-Scale Low-Rank Adaptation via Attention Reweighting [6.335488846185043]
MSLoRAはバックボーンに依存しないパラメータ効率のよいアダプタで、バックボーンを再調整するのではなく、フィーチャーレスポンスを再重み付けする。
MSLoRAは、畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)の両方の適応を統一する
論文 参考訳(メタデータ) (2025-11-16T00:35:37Z) - DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。
そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
論文 参考訳(メタデータ) (2025-10-05T19:27:48Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳(メタデータ) (2024-12-11T12:31:30Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳(メタデータ) (2024-11-01T14:28:39Z) - Efficient Diffusion as Low Light Enhancer [63.789138528062225]
RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。
textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
論文 参考訳(メタデータ) (2024-10-16T08:07:18Z) - Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。
CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
論文 参考訳(メタデータ) (2023-06-01T12:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。