論文の概要: DeltaFlow: Noise-Adaptive Bidirectional Gated Delta Networks for Embedded Language Flows

• arxiv url: http://arxiv.org/abs/2608.01240v1
• Date: Sun, 02 Aug 2026 13:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.129931
• Title: DeltaFlow: Noise-Adaptive Bidirectional Gated Delta Networks for Embedded Language Flows
• Title（参考訳）: DeltaFlow: 組込み言語フローのためのノイズ適応型双方向Gated Delta Network
• Abstract要約: 本稿では,雑音適応型双方向GDNバックボーンであるDeltaFlowを紹介した。 層間のスキャン方向を交互に行うDeltaFlow-Aと,各層内で並列に前方・後方スキャンを行うDeltaFlow-Pの2種類について検討した。
• 参考スコア（独自算出の注目度）: 21.506587656622443
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Embedded Language Flows (ELF) rely primarily on full non-causal attention for iterative denoising, repeatedly incurring quadratic sequence-mixing cost at each sampling step. Gated Delta Networks (GDNs) provide an efficient recurrent alternative, but their standard causal formulation cannot directly capture the bidirectional context required by ELF. We introduce DeltaFlow, a noise-adaptive bidirectional GDN backbone for continuous language denoising. We study two variants: DeltaFlow-A, which alternates scan directions across layers, and DeltaFlow-P, which performs parallel forward and backward scans within each layer. We further introduce noise-adaptive memory control and scheduled Temporal State Consistency (TSC) to stabilize hidden representations across nearby noise levels. On OpenWebText, using a 32-step stochastic differential equation sampler, DeltaFlow-P reduces generated perplexity from 24.218 for the full-attention ELF baseline to 21.228 while maintaining comparable unigram entropy, with 36B training-token exposure compared with 45B for the baseline. In a denoiser-only benchmark, DeltaFlow-P achieves a 2.72x throughput speedup over the full-attention baseline at a sequence length of 16k. These results show that DeltaFlow is a promising alternative to dense attention for efficient continuous language denoising.
• Abstract（参考訳）: 組込み言語フロー (ELF) は主に反復的復調のための非因果的注意に頼っており、サンプリングステップごとに2次列混合コストが繰り返されている。 Gated Delta Networks (GDNs) は、効率的なリカレントな代替手段を提供するが、それらの標準的な因果関係の定式化は、ELFが必要とする双方向コンテキストを直接捉えることはできない。 本稿では,雑音適応型双方向GDNバックボーンであるDeltaFlowを紹介した。 層間のスキャン方向を交互に行うDeltaFlow-Aと,各層内で並列に前方・後方スキャンを行うDeltaFlow-Pの2種類について検討した。 さらに、ノイズ適応型メモリ制御と時間状態整合性(TSC)を導入し、近隣の騒音レベルにわたって隠れた表現を安定化する。 OpenWebText上では、32ステップの確率微分方程式サンプリング器を用いて、DeltaFlow-Pは、フルアテンションELFベースラインの24.218から21.228に減少し、同じユニグラムエントロピーを維持しながら、ベースラインの45Bと比較して36Bのトレーニングトケン露光を行う。 Denoiserのみのベンチマークでは、DeltaFlow-Pは16kのシーケンス長でフルアテンションベースライン上で2.72倍のスループットを達成している。 これらの結果から,DeltaFlowは効率的な連続言語記述のための注目度の高い代替手段として有望であることが示唆された。

関連論文リスト

• TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
  TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。 LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。 完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-25T15:09:02Z)
• Hierarchical Flow Matching for 3D Point Cloud Generation [3.451986888321395]
  既存のフローベース手法は、訓練中に高価なODE解決とトレース推定を必要とする連続正規化フロー(CNF)に依存している。 本研究では,非条件の3次元点雲生成のための2レベル構造にフローマッチングを拡張する階層型フローマッチング(HFM)を提案する。 その結果、直列のOT経路は、1フローあたり15のEulerステップで効率的なサンプリングを可能にし、構造化された潜在空間は分類を含む下流タスクをサポートする。
  論文  参考訳（メタデータ） (2026-08-06T03:23:49Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs [29.561307941602482]
  マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。 適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。 DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
  論文  参考訳（メタデータ） (2026-05-31T05:27:01Z)
• Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
  フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。 終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
  論文  参考訳（メタデータ） (2026-05-15T16:11:10Z)
• AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation [70.80207977907908]
  フローマップをベースとした,最初のノンステップビデオ拡散蒸留フレームワークであるAnyFlowを紹介した。 我々は、AnyFlowがいくつかの段階において、パフォーマンスの一致を達成するか、一貫性ベースの結果を上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:06:34Z)
• SDFlow: Similarity-Driven Flow Matching for Time Series Generation [42.61146250886606]
  我々は,凍結したVQ潜在空間で完全に動作する非自己回帰フレームワークであるSDFlowを提案する。 SDFlowは最先端の性能を実現し,識別スコアを向上し,コンテキストFIDを大幅に低減することを示す。
  論文  参考訳（メタデータ） (2026-05-07T06:28:18Z)
• WAM-Flow: Parallel Coarse-to-Fine Motion Planning via Discrete Flow Matching for Autonomous Driving [9.719456684859606]
  本稿では,VLAモデルであるWAM-Flowを紹介し,Ego-trajectory Planningをトークン空間上の離散フローマッチングとして利用する。 WAM-Flowは完全に並列で双方向のデノゲーションを実行し、調整可能な計算精度トレードオフによる粗い微細化を可能にする。 これらの結果は、エンド・ツー・エンド・エンドの自律運転に期待できる新しいパラダイムとして離散フローマッチングが確立される。
  論文  参考訳（メタデータ） (2025-12-05T19:36:46Z)
• SimFlow: Simplified and End-to-End Training of Latent Normalizing Flows [37.7899995917052]
  分散(VAEエンコーダによって予測される)を定数に修正する方法を見つける。 ImageNet $256 256$ 生成タスクでは、我々のモデル SimFlow が gFID スコア 2.15 を取得し、最先端のSTARFlow (gFID 2.40) よりも優れている。 SimFlowは、エンドツーエンドの表現アライメントアライメント(REPA-E)メソッドとシームレスに統合することができ、改良されたgFID 1.91を実現し、NF間の新しい状態を設定する。
  論文  参考訳（メタデータ） (2025-12-03T18:59:57Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation [52.56469577812338]
  本稿では,インタラクティブな画像生成のためのリアルタイム拡散パイプラインStreamDiffusionを紹介する。 既存の拡散モデルは、テキストや画像プロンプトから画像を作成するのに適しているが、リアルタイムのインタラクションでは不足することが多い。 本稿では,従来のシーケンシャル・デノナイジングをデノナイジング・プロセスに変換する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-19T18:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。