論文の概要: Multi-Stream Residual Computation in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.18407v1
• Date: Tue, 13 Oct 2026 13:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:30:14.410864
• Title: Multi-Stream Residual Computation in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおけるマルチストリーム残差計算
• Abstract要約: 拡散言語モデルはマスク付きトークンを並列に再構築し、自動回帰生成の代替を提供する。 マスク付き拡散モデルに、深さと適応的なルーティングを通して持続する複数の残留ストリームを装備する。 我々は、事前に定義された役割なしで、目に見える位置とマスクされた位置が異なるルーティングパターンを学ぶことを観察する。
• 参考スコア（独自算出の注目度）: 45.560480131543585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models reconstruct masked tokens in parallel, offering an alternative to autoregressive generation. Yet their Transformer backbones typically carry visible evidence and evolving masked predictions through a single residual stream. We equip masked diffusion models with multiple residual streams that persist through depth and adaptive routing between them, then investigate how they support these complementary roles. On the pretraining task, two streams reduce reconstruction perplexity by 5.71% on validation data and 5.13% on average across external corpora compared with standard residual connections. We observe that, without predefined roles, visible and masked positions learn distinct routing patterns. Causal interventions show that this distinction organizes read and write routing, while token-specific write strength remains important within each role. Guided by these findings, a model trained with role-conditioned routing recovers half the validation gain from adding a second stream. State interventions explain the benefit of the additional stream: it preserves early token representations for later reuse while evidence accumulates at masked positions. This mechanism recurs at a larger model scale, showing how persistent streams support context preservation alongside prediction refinement.
• Abstract（参考訳）: 拡散言語モデルはマスク付きトークンを並列に再構築し、自動回帰生成の代替を提供する。 しかし、トランスフォーマーのバックボーンは、通常、目に見える証拠を持ち、単一の残留ストリームを通してマスク付きの予測を進化させる。 マスク付き拡散モデルに複数の残差流を配置し, それらの間の適応的ルーティングを継続し, それらの相補的役割をどうサポートするかを考察する。 プレトレーニング作業では,2つのストリームが検証データで5.71%,外部コーパスで平均5.13%の再現難易度を通常の残差接続と比較して減少させる。 我々は、事前に定義された役割なしで、目に見える位置とマスクされた位置が異なるルーティングパターンを学ぶことを観察する。 因果的介入は、この区別が読み取りと書き込みのルーティングを編成することを示している。 これらの結果に基づいて、ロール条件付きルーティングでトレーニングされたモデルが、第2ストリームの追加によるバリデーションゲインの半分を回復する。 州の介入は、追加のストリームの利点を説明している: 初期のトークン表現を後続の再利用のために保存し、証拠はマスクされた位置に蓄積する。 このメカニズムはより大規模なモデルスケールで再帰し、永続ストリームが予測の洗練とともにコンテキスト保存をサポートすることを示す。

関連論文リスト

• Uncovering Uncontrolled Repetition through Residual Stream Dynamics [21.463950896957257]
  制御不能な繰り返しは、大きな言語モデルにおける自己回帰生成を長引かせる可能性がある。 本稿では, 残留力学から繰り返し発生する異常を同定し, 局所化する手法を提案する。 実験により、Tokenwise Residual Comparisonは、制御されていない繰り返しを効果的に軽減し、ループレートを平均57%減少させることが示された。
  論文  参考訳（メタデータ） (2026-09-30T02:33:50Z)
• Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers [74.0530486095232]
  拡散ベースの生成では、ニューラルネットワークをトレーニングして、ノイズやノイズの入力からクリーンなデータを予測することができる。 最終読み出しの深さを通したノイズ依存入力変動を維持するために,雑音のターゲットは残差ストリームを必要とすると論じる。 スペクトル集中されたクリーンターゲットは、より軽量な要求を課し、その後の計算のために隠れた表現を整理する自由を保ちます。
  論文  参考訳（メタデータ） (2026-09-27T20:17:39Z)
• Write Back the $Δ$: Revisiting the Same Tokens with Fresh Representations [45.577882225926935]
  ReFluxは学習可能なフィードバックグラフで、インクリメントの経路を動的に選択し構成する。 同期ReFluxは10の言語モデリングコーパスのパープレキシティを一貫して低減し、精度を2.1-2.3ポイント向上させる。 ストリーミング ReFluxは、ベースモデルのバックボーン1x理論FLOPを保ちながら、これらの利益のほとんどを保持している。
  論文  参考訳（メタデータ） (2026-09-26T10:42:27Z)
• Dual Attention Residuals [34.183227979638595]
  本稿では,歴史的検索にマルチストリームインタラクションをもたらすデュアルアテンション残差を提案する。 各ターゲットストリームに対して、DARは反対ストリームの正規化状態からの深さ重みを計算し、ターゲットストリーム自身の履歴から値に適用する。 DARは、標準の残差トランスフォーマーとアテンション残差に対するバリデーション損失を継続的に改善する。
  論文  参考訳（メタデータ） (2026-07-21T05:42:55Z)
• PAMF: Prior-Aware Multimodal Fusion for Incomplete Time Series Data [37.71457191016947]
  PAMFは、異なる欠落パターンを扱うマルチモーダルな時系列フレームワークである。 多様なデータセットと欠落した設定で、ダウンストリームのパフォーマンスが最強であることを示します。
  論文  参考訳（メタデータ） (2026-06-04T16:04:21Z)
• Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections [5.356431232110434]
  並列ストリームが情報をどのように符号化し活用するかを探索する,最初のオープンソースのmHC言語モデルを提案する。 本稿では,残差ストリームの因果関係を推論時に直接因果関係で比較できる,系統的なストリーム・アブレーション・レスキュー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T05:24:44Z)
• Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies [62.653984010274485]
  VLA(Vision-Language-Action)モデルは、画像や命令をロボットアクションにマッピングするために、大きな視覚言語バックボーンを適応させる。 prevailingAsは、固定された左から右への順序で自動回帰的にアクションを生成するか、バックボーンの外側で分離または拡散ヘッドをアタッチする。 本稿では離散拡散を伴う離散化作用チャンクをモデル化する統一変換器ポリシである離散拡散VLAを提案する。
  論文  参考訳（メタデータ） (2025-08-27T17:39:11Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。