論文の概要: LinMorph: Learning to Morph Weights for Efficient Video DiT Linearization

• arxiv url: http://arxiv.org/abs/2610.17914v1
• Date: Tue, 13 Oct 2026 08:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.554214
• Title: LinMorph: Learning to Morph Weights for Efficient Video DiT Linearization
• Title（参考訳）: LinMorph: 効率的なビデオDiT線形化のためのモーフウェイト学習
• Abstract要約: ポストホック線形化は、事前訓練されたビデオ拡散変換器(ビデオDiT)を高速化する魅力的な方法である 私たちは、より根本的なボトルネックが上流にあることを示しています。 ビデオDiT線形化を学習可能なソフトマックス-線形重み変換問題として再放送する textbfLinMorph を導入する。
• 参考スコア（独自算出の注目度）: 46.21750705596529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-hoc linearization is an attractive way to accelerate pretrained Video Diffusion Transformers (Video DiTs), yet existing methods largely treat the quality loss induced by attention replacement as a recovery problem. We show that a more fundamental bottleneck lies upstream: \emph{initialization}. Random initialization discards pretrained knowledge, whereas manual weight reuse transfers it through rigid and incomplete source--target correspondences. We introduce \textbf{LinMorph}, which recasts Video DiT linearization as a learnable softmax-to-linear weight transformation problem. Instead of copying predefined counterparts, LinMorph learns a cross-parameter morphism that lets each target Gated DeltaNet (GDN) parameter draw jointly from pretrained query, key, value, and output projections, including for parameters with no direct softmax counterpart. A single morphism is shared across layers and learned through local teacher alignment, while producing layer-specific initializations from their respective pretrained weights. The resulting weights are then materialized as independent GDN modules for progressive distillation and joint recovery.Since the morphism operates in weight space rather than token space, it can be learned on short, low-resolution clips and directly reused at larger video scales. Across pretrained Video DiTs, LinMorph enables markedly faster recovery and better final generation quality than random initialization and heuristic weight reuse. Results show that efficient linearization depends not only on how a converted model is recovered, but critically on how pretrained knowledge is transferred before recovery. Project page: https://lonelyling.github.io/LinMorph.
• Abstract（参考訳）: ポストホック線形化は、事前訓練されたビデオ拡散変換器(ビデオディフュージョン変換器)を高速化する魅力的な方法であるが、既存の手法は、注意置換による品質損失を回復問題として主に扱う。 私たちは、より根本的なボトルネックが上流にあることを示しています。 ランダム初期化は事前訓練された知識を捨てる一方、手動の重量再利用は厳密で不完全なソース-ターゲット対応を通してそれを転送する。 本稿では,ビデオDiT線形化を学習可能なソフトマックス-線形重み変換問題として再放送する「textbf{LinMorph}」を紹介する。 事前に定義されたパラメータをコピーする代わりに、LinMorph氏は、各ターゲットのGated DeltaNet(GDN)パラメータを、事前訓練されたクエリ、キー、値、出力プロジェクションから、直接ソフトマックスでないパラメータを含む共同で引き出すことのできる、パラメータ横断型(cross-parameter morphism)を学ぶ。 単一の型は、各事前訓練された重みから層固有の初期化を生成しながら、レイヤ間で共有され、局所的な教師アライメントを通して学習される。 得られた重みは、プログレッシブ蒸留とジョイントリカバリのための独立したGDNモジュールとして実現され、射はトークン空間ではなく重量空間で作用するため、短い低解像度のクリップで学習でき、より大きなビデオスケールで直接再利用することができる。 事前訓練されたビデオDiT全体で、LinMorphはランダムな初期化やヒューリスティックな重量再利用よりもはるかに高速なリカバリと最終生成品質を実現している。 その結果、効率的な線形化は、変換されたモデルがどのように復元されるかだけでなく、回復前に事前訓練された知識がどのように変換されるかにも依存することが示された。 プロジェクトページ: https://lonelyling.github.io/LinMorph.com

関連論文リスト

• ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
  以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。 本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
  論文  参考訳（メタデータ） (2025-07-09T23:52:31Z)
• Learning from Streaming Video with Orthogonal Gradients [62.51504086522027]
  本稿では,映像の連続的ストリームからの表現学習を自己指導的に行うという課題に対処する。 これは、トレーニング中にビデオが切り刻まれ、シャッフルされ、非冗長なバッチを生成する、ビデオ学習の標準的なアプローチとは異なる。 3つのタスクでシャッフルからシーケンシャルな学習に移行する際のパフォーマンスの低下を実演する。
  論文  参考訳（メタデータ） (2025-04-02T17:59:57Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• Transformer as Linear Expansion of Learngene [38.16612771203953]
  リニア・エクスパンジョン・オブ・ラーニングジェネレーション(TLEG)は多様な深さのトランスフォーマーを柔軟に生成・初期化する新しい手法である。 ImageNet-1Kの実験では、TLEGはスクラッチからトレーニングされた多くの個別モデルと対照的に、同等またはより良いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-09T17:01:18Z)
• Using linear initialisation to improve speed of convergence and fully-trained error in Autoencoders [0.0]
  そこで我々はStraddled Matrix Initialiserと呼ばれる新しいウェイト初期化手法を導入する。 階層行列とReLU活性化関数の組み合わせは、ニューラルネットワークをデファクト線形モデルとして初期化する。 全ての実験において、Straddeled Matrix Initialiserは、他のすべての方法よりも明らかに優れています。
  論文  参考訳（メタデータ） (2023-11-17T18:43:32Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• PGT: A Progressive Method for Training Models on Long Videos [45.935259079953255]
  メインストリーム方式は、生のビデオをクリップに分割し、不完全な時間的情報の流れをもたらす。 長文を扱う自然言語処理技術に着想を得て,マルコフ特性を満たすシリアルフラグメントとしてビデオを扱うことを提案する。 さまざまなモデルやデータセットで大幅なパフォーマンス改善をもたらすことを実証的に実証しています。
  論文  参考訳（メタデータ） (2021-03-21T06:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。