論文の概要: DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.34253v1
- Date: Mon, 28 Sep 2026 03:57:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 22:30:49.842553
- Title: DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models
- Title（参考訳）: DreamingGoose: 自己回帰変換器から双方向反復拡散言語モデルへの段階的蒸留
- Abstract要約: 我々はQwen3の教師を1.7Bと8Bで3段階に分けて、注意なし、双方向、ゲート・デルタ・ルール拡散学習者に変換する。
言語モデリングは部分的および非分配のみを転送する。
検索を学習するすべてのモデルは、検索エピソードに現れないトークンに対して0.000のスコアを獲得します。
- 参考スコア（独自算出の注目度）: 41.99844472131922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained autoregressive Transformers represent a large sunk investment in compute. Existing conversion methods reuse that investment by changing either the architecture (attention to recurrence) or the objective (next-token prediction to denoising), never both. We convert Qwen3 teachers at 1.7B and 8B into attention-free, bidirectional, gated-delta-rule diffusion students in three stages, so that each capability can be traced to the stage that kept or lost it. Language modeling transfers only partially and in-distribution; in-context retrieval does not transfer. On a multi-query recall probe where the teachers score 0.34-0.58, both converted students score 0.000, and diffusion pretraining alone does not restore retrieval. A retrieval curriculum in the final stage, which gradually lengthens the gap between a key-value table and the queries that address it, restores it only stochastically: on a fixed schedule, one seed in three learns to retrieve. Advancing the gap only while a running accuracy estimate stays above a threshold works for all three of those seeds, holds on real text, and carries unchanged to 8B, where two of three seeds succeed. The third had not learned within its fixed 16k-step budget: retrieval switches on abruptly at a seed-dependent step (6.5k and 11k in the other two), so a fixed budget can cut a late run off. One boundary survives every intervention: every model that learns retrieval scores 0.000 on tokens that never appeared in a retrieval episode, and an arm that resamples the key and value tokens every batch shows this is a coverage limit, not memorization of particular bindings. Separately, we convert a 7B code model into a 3:1 recurrent-attention block-diffusion hybrid over 85k steps and report two negative training results.
- Abstract（参考訳）: 事前訓練された自己回帰変換器は、計算に対する大きなサンク投資を表している。
既存の変換手法はその投資を、アーキテクチャ(繰り返しの意図)または目的(再起動の予測)を変更して再利用するが、どちらも再利用しない。
我々はQwen3の教師1.7Bと8Bを3段階に分けて、注意のない、双方向の、ゲート・デルタ・ルール拡散学生に変換する。
言語モデリングは部分的および非分配のみを転送する。
教師が0.34-0.58を得点するマルチクエリリコールプローブでは、変換された学生は0.000点、拡散事前学習だけでは検索を回復しない。
最終段階における検索カリキュラムは、キー値テーブルとそれに対応するクエリとのギャップを徐々に延長し、確率的にのみ復元する。
3つの種のうち2つの種が成功する場合は、実際のテキストをそのまま8Bに保ちます。
3番目は固定された16kステップの予算で学ばなかった: 検索スイッチはシード依存のステップ(6.5kと1k)で突然スイッチされるため、固定された予算は遅れる可能性がある。
検索を学習するすべてのモデルは、検索エピソードに現れないトークンで0.000点を獲得し、各バッチでキーとバリュートークンを再サンプリングするアームは、特定のバインディングのメモリ化ではなく、カバレッジ制限であることを示している。
別途、7B符号モデルを3:1リカレント・アテンション・ブロック拡散ハイブリッドに85k以上のステップで変換し、2つの負のトレーニング結果を報告する。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - What a Cross-Model Fixed-Point Census Can and Cannot Arbitrate About Repetition [0.0]
ニューラルテキストデジェネレーションの2つの説明が共存する。トレーニングデータの原因を特定する。
トレーニングされたネットワーク内のもう1つは、回路のコピーと繰り返し機能である。
我々は異なる通貨で観測的な測定を報告する。
論文 参考訳（メタデータ） (2026-08-24T18:08:36Z) - In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit [4.726337413307433]
4ビットのリリースでは、各重みを整数コードと共有スケールとして格納し、格納された値の間に量子化器が捨てる間隔を残していることを示す。
私たちは、新しい知識をそのインターバルに書き込むパラダイムを、インセルラーニングと呼ぶ。
CellFillは、内部の低ランクの位置をベンダー自身の4ビットリリースでトレーニングすることで、構築によってパラダイムを実現する。
論文 参考訳（メタデータ） (2026-08-21T08:49:07Z) - What Does Attention Transfer Transfer? Attention Structure and Robustness in Vision Transformers [0.0]
ビジョントランスフォーマーは、事前訓練された教師の注意マップをコピーします。
微調整の分布精度のほとんどを回復するが、分布シフト下では測定不可能に低下する。
コピーが提供するものは、アテンション構造において直接測定されることがなく、ロバスト性に結びついている。
論文 参考訳（メタデータ） (2026-08-19T00:10:38Z) - DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する
我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。
本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
論文 参考訳（メタデータ） (2026-07-01T02:32:02Z) - Re-feeding Is Not Replaying: Measuring Replay Noise in Counterfactual Token-Credit Estimation [0.0]
言語モデルのロールアウトにおいて、どのトークンが最終回答が正しいか間違っているかを尋ねる。
我々は、この仮定がストック推論エンジンのコストを3パスの設計で測定する。
6つの構成と3つのモデルにまたがって、リフィーディングはレプリカフロアよりも14-28ポイント高いレートでクレジットの見積もりを変更する。
論文 参考訳（メタデータ） (2026-06-14T06:09:16Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation [8.736935937857192]
Trajectory-Shaped Discrete Flow Matchingは、ブラインドジャンプをガイドナビゲーションに置き換える。
170M-024言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低い難易度を達成する。
論文 参考訳（メタデータ） (2026-05-08T15:58:22Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。