論文の概要: Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

• arxiv url: http://arxiv.org/abs/2606.16429v1
• Date: Mon, 15 Jun 2026 09:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.261912
• Title: Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation
• Title（参考訳）: Taylor-Calibrate: ハイブリッドリニアアテンション蒸留における原理的初期化
• Authors: Zhongzhu Zhou, Qingyang Wu, Junxiong Wang, Mayank Mishra, Shuaiwen Leon Song, Ben Athiwaratkun, Chenfeng Xu,
• Abstract要約: その結果,Taylor-Calibrate はゼロショットの学生に対して,最大で88倍の成績を示した。 4つの教師設定と3つの保持層ポリシーの中で、Taylor-Calibrateはより強力なゼロショットの学生に、代表的アブレーションの最大88倍の改善を与える。
• 参考スコア（独自算出の注目度）: 30.73946553166944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid linear attention models offer an appealing path to faster long-context inference: they reduce the quadratic cost and KV-cache burden of full softmax attention while retaining much of the quality of Transformer models. A practical way to obtain such models is to convert a pretrained Transformer instead of pretraining a new architecture from scratch, but this conversion is still brittle. Simply copying the teacher attention projections into a Gated DeltaNet (GDN) student does not specify the new recurrent decay, write, and output-gating dynamics. As a result, the converted model often starts in a poor dynamical regime and must spend many distillation tokens repairing initialization rather than learning the remaining teacher behavior. We propose Taylor-Calibrate, a lightweight initialization method for hybrid GDN students. The method uses Taylor-guided teacher attention statistics to set the value projection, memory timescale, write gates, and output gate, then applies a short per-layer alignment step to match each converted layer to the teacher output. Across four teacher settings and three retained-layer policies, Taylor-Calibrate gives substantially stronger zero-shot students, with up to an 88x improvement in a representative ablation, and reaches matched recovery targets with 4.9x--9.2x fewer training tokens than naive conversion.
• Abstract（参考訳）: ハイブリッド線形アテンションモデルは、トランスフォーマーモデルの品質の多くを維持しながら、二次コストとフルソフトマックスアテンションのKVキャッシュ負担を低減し、より高速なロングコンテキスト推論への魅力的なパスを提供する。 このようなモデルを得るための実践的な方法は、新しいアーキテクチャをゼロから事前訓練する代わりに、事前訓練されたトランスフォーマーを変換することだが、この変換は依然として脆弱である。 単に教師の注意投影をGated DeltaNet (GDN) の学生にコピーするだけで、新しい繰り返し減衰、書き込み、出力ゲーティングのダイナミクスは特定できない。 結果として、変換されたモデルは、しばしば低速な力学状態から始まり、残りの教師の振る舞いを学習するよりも、初期化を修復するために多くの蒸留トークンを使わなければならない。 ハイブリッドGDN学生のための軽量初期化手法であるTaylor-Calibrateを提案する。 この方法は、テイラー誘導型教師注意統計を用いて、値投影、メモリタイムスケール、書き込みゲート、出力ゲートを設定し、その後、変換された各レイヤを教師出力に合わせるために、短い階層単位のアライメントステップを適用する。 4つの教師設定と3つの保持層ポリシーの中で、テイラー・カリブレートはゼロショットの生徒に、代表的アブレーションの最大88倍の改善を与え、4.9x--9.2倍のトレーニングトークンで一致したリカバリ目標に達する。

関連論文リスト

• When Perplexity Lies: Generation-Focused Distillation of Hybrid Sequence Models [18.966595547209824]
  我々はGenDistillと組み合わせたハイブリッドKimi Delta Attention (Hybrid-KDA)アーキテクチャを提案する。 ログライクリフに基づく評価は,教師と学生のギャップを過小評価する。
  論文  参考訳（メタデータ） (2026-03-27T16:16:23Z)
• CSDformer: A Conversion Method for Fully Spike-Driven Transformer [11.852241487470797]
  スパイクベースのトランスは、スパイクニューラルネットワークの性能向上を目的とした、新しいアーキテクチャである。 完全スパイク駆動変圧器の新しい変換法であるCSDformerを提案する。 CSDformerは超低レイテンシで高いパフォーマンスを実現し、計算複雑性とトレーニングオーバーヘッドの両方を劇的に削減する。
  論文  参考訳（メタデータ） (2025-09-22T07:55:03Z)
• CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up [64.38715211969516]
  CLEARと呼ばれる畳み込み型ローカルアテンション戦略を導入し,各クエリトークンの周囲のローカルウィンドウに特徴的インタラクションを限定する。 実験により,10K反復で10Kの自己生成サンプルに注意層を微調整することにより,事前学習したDiTから線形複雑度のある学生モデルへの知識伝達を効果的に行うことができた。
  論文  参考訳（メタデータ） (2024-12-20T17:57:09Z)
• Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation [19.88187051373436]
  本研究では,拡散モデルのサンプリング速度を高速化する分散バックトラック蒸留(DisBack)を提案する。 DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアは1.38である。
  論文  参考訳（メタデータ） (2024-08-28T17:58:17Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。