論文の概要: dQwen3.5: Hybrid-Attention Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.20751v1
• Date: Thu, 17 Sep 2026 17:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.404657
• Title: dQwen3.5: Hybrid-Attention Diffusion Language Models
• Title（参考訳）: dQwen3.5:ハイブリッドアテンション拡散言語モデル
• Abstract要約: 事前訓練された自己回帰(AR)モデルへの適応は拡散言語モデル(DLM)へのコスト効率の高いルートである これらのバックボーンが, 0.8B, 2B, 4B, 9BスケールでQwen3.5を適応させることで, 有効なDLMとなるかを検討した。 ハイブリットバックボーンは適応のための効率的な出発点となり得る。フルアテンション制御に対して、ハイブリットはトークンの約半分で与えられたトレーニング損失に達する。
• 参考スコア（独自算出の注目度）: 33.46161306613923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting a pretrained autoregressive (AR) model is a cost-efficient route to a diffusion language model (DLM). While nearly all such adaptations start from a full-attention transformer, AR modeling has shifted toward hybrid architectures that interleave attention and RNN layers. This creates an obstacle for adaptation: unlike attention, RNNs are structurally causal and nontrivial to bidirectionalize. Despite this mismatch, we investigate whether such backbones can become effective DLMs by adapting Qwen3.5 at 0.8B, 2B, 4B, and 9B scales, yielding the dQwen3.5 family. We find that hybrid backbones can be efficient starting points for adaptation: against a full-attention control, the hybrid reaches a given training loss in about half the tokens. Across scales, dQwen3.5 resembles full-attention DLMs in any-order decoding behavior and performs strongly under parallel decoding.
• Abstract（参考訳）: 事前訓練された自己回帰(AR)モデルに適応することは拡散言語モデル(DLM)へのコスト効率の高いルートである。 このような適応のほとんどすべてがフルアテンショントランスフォーマーから始まるが、ARモデリングは注目とRNN層をインターリーブするハイブリッドアーキテクチャへと移行している。 注意力とは異なり、RNNは構造的に因果的であり、双方向化は非自明である。 このミスマッチにも拘わらず,Qwen3.5を0.8B,2B,4B,9Bスケールで適応させ,dQwen3.5ファミリーを形成することにより,これらのバックボーンが有効なDLMになるかどうかを検討した。 ハイブリットバックボーンは適応のための効率的な出発点となり得る。フルアテンション制御に対して、ハイブリットはトークンの約半分で与えられたトレーニング損失に達する。 スケール全体では、dQwen3.5は任意の順序の復号化動作においてフルアテンションDLMに似ており、並列復号化の下では強く機能する。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers [54.01042826416009]
  ビジュアル生成には高解像度の画像、長いビデオ、マルチモーダルコンテキストが必要である。 原理的なスケーリングレシピを備えたハイブリッドビジュアル拡散バックボーンであるChimeraを紹介した。 密度の高いバックボーンは、一致したフルアテンションWan2.1 2Bベースラインの1.7倍の計算効率を示す。
  論文  参考訳（メタデータ） (2026-07-30T17:58:02Z)
• Component-Aware Self-Speculative Decoding in Hybrid Language Models [0.0]
  投機的復号化は、高速モデルで候補トークンを起草することで自己回帰推論を加速する。 本稿では,SSM/リニアアテンションサブグラフをゼロコスト内部ドラフトとして分離する,コンポーネント認識型自己投機的デコーディングを提案する。 汎用的なLayerSkipはコンポーネント認識戦略よりも12倍高い受け入れ率が得られることを示す。
  論文  参考訳（メタデータ） (2026-05-01T21:25:25Z)
• Where Should LoRA Go? Component-Type Placement in Hybrid Language Models [0.0]
  2つのハイブリッドアーキテクチャにまたがるコンポーネント型LoRA配置について検討する。 注意経路は、トレーニング可能なパラメータを5～10倍少なくすることで、フルモデル適応を一貫して上回ります。
  論文  参考訳（メタデータ） (2026-04-24T00:20:29Z)
• Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed [76.49335677120031]
  拡散言語モデル(dLM)は、並列で非自己回帰的な生成を可能にする有望なパラダイムとして登場した。 我々は,ARモデルのタスク精度を保ちながら,ARモデルからDLMへの変換を高速なDLMに変換することを検討した。
  論文  参考訳（メタデータ） (2025-12-16T04:12:17Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。