Fugu-MT 論文翻訳(概要): DiffusionGemma Technical Report

論文の概要: DiffusionGemma Technical Report

arxiv url: http://arxiv.org/abs/2608.00146v1
Date: Fri, 31 Jul 2026 16:11:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-04 15:07:24.509116
Title: DiffusionGemma Technical Report
Title（参考訳）: DiffusionGemma 技術報告
Abstract要約: DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
参考スコア（独自算出の注目度）: 72.10570774996219
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce DiffusionGemma, an experimental open-weight language model that uses discrete diffusion to generate text at exceptionally high speed. Rather than decoding one token at a time, DiffusionGemma iteratively refines blocks of 256 tokens in parallel, avoiding the sequential decoding bottleneck of conventional autoregressive (AR) large language models. Instead of training from scratch, we obtain DiffusionGemma by fine-tuning the mixture-of-experts Gemma 4 model with 3.8B activated and 25.2B total parameters. Our compute-efficient two-stage training pipeline uses fewer than 10% of the starting AR model's total training token budget. The first stage uses supervised fine-tuning to teach bidirectional denoising, while the second stage combines reinforcement learning with sampler distillation to jointly improve generation quality and inference efficiency. DiffusionGemma establishes a new Pareto frontier for the trade-off between generation speed and model capability. Averaged across our full evaluation suite, it generates around 20 tokens per forward pass and achieves roughly 1,500 output tokens per second on a single NVIDIA H100 GPU, which is substantially faster than AR models even with state-of-the-art speculative decoding. DiffusionGemma also retains the starting model's support for thinking mode, multimodal inputs, and long contexts. Despite diffusion fine-tuning, it remains capable of AR generation with only minor performance degradation, suggesting a path toward hybrid diffusion-AR decoding.
Abstract（参考訳）: 実験的なオープンウェイト言語モデルであるDiffusionGemmaを導入する。 DiffusionGemmaは、一度に1つのトークンをデコードするのではなく、256個のトークンのブロックを並列に繰り返し洗練し、従来の自己回帰(AR)大規模言語モデルのシーケンシャルなデコードボトルネックを回避する。トレーニングをスクラッチから行う代わりに、3.8Bのアクティベートと25.2Bの合計パラメータを混合したDiffusionGemma 4モデルを微調整してDiffusionGemmaを得る。私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。第1段階は、教師付き微調整を用いて双方向の聴覚教育を行い、第2段階は、強化学習とサンプル蒸留を組み合わせることで、生成品質と推論効率を共同的に改善する。 DiffusionGemmaは、生成速度とモデル能力の間のトレードオフのための新しいParetoフロンティアを確立する。評価スイート全体の平均で、フォワードパスあたり約20トークンを生成し、1つのNVIDIA H100 GPUで毎秒約1,500トークンを出力します。 DiffusionGemmaは、シンキングモード、マルチモーダルインプット、長いコンテキストに対する開始モデルのサポートも保持している。拡散微調整にもかかわらず、わずかな性能劣化のみでAR生成が可能であり、ハイブリッド拡散ARデコーディングへの道のりを示唆している。

関連論文リスト

TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。 LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
論文参考訳（メタデータ） (2026-08-25T15:09:02Z)
ReGen: Hierarchical Multi-Prompt Representation Generation for Efficient Waveform Diffusion Models [22.63266813055847]
単一拡散モデルにおける両表現データに対して複数のベクトル場を共同で推定するReGenを提案する。 ReGenVoiceも提案する。LDM(Latent diffusion model)ベースのテキスト音声合成モデルで,強い音声の明瞭さを実現する。
論文参考訳（メタデータ） (2026-07-10T06:44:04Z)
Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference [58.06027151683975]
本稿では,離散状態拡散に基づく大規模言語モデルであるSeed Diffusion Previewを提案する。非逐次並列生成により、離散拡散モデルはトークン・バイ・トークン・バイ・トークン・デコーディングの固有の遅延を軽減するために顕著なスピードアップを提供する。
論文参考訳（メタデータ） (2025-08-04T08:43:01Z)
Next Tokens Denoising for Speech Synthesis [51.320443764269726]
Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
論文参考訳（メタデータ） (2025-07-30T15:03:36Z)
FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
論文参考訳（メタデータ） (2025-05-27T17:39:39Z)
ProReflow: Progressive Reflow with Decomposed Velocity [52.249464542399636]
フローマッチングは、拡散モデルの拡散過程を数ステップまたは1ステップ生成のために直線に再フローすることを目的としている。局所的な時間ステップで拡散モデルを段階的に再フローし,拡散全体を進行させるプログレッシブ・リフローを導入する。また,フローマッチングにおける方向整合の重要性を強調し,位置整合性を考慮したV-Predictionを導入する。
論文参考訳（メタデータ） (2025-03-05T04:50:53Z)
From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文参考訳（メタデータ） (2024-12-10T18:59:50Z)
SparseDM: Toward Sparse Efficient Diffusion Models [20.783533300147866]
拡散モデルの展開効率を向上させるために,改良されたストレートトラフ推定器に基づく手法を提案する。トランスフォーマーとUNetを用いた拡散モデルによる実験結果から,FIDを維持しながらMACを50%削減できることが判明した。
論文参考訳（メタデータ） (2024-04-16T10:31:06Z)
StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation [52.56469577812338]
本稿では,インタラクティブな画像生成のためのリアルタイム拡散パイプラインStreamDiffusionを紹介する。既存の拡散モデルは、テキストや画像プロンプトから画像を作成するのに適しているが、リアルタイムのインタラクションでは不足することが多い。本稿では,従来のシーケンシャル・デノナイジングをデノナイジング・プロセスに変換する新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-12-19T18:18:33Z)
Efficient Integrators for Diffusion Generative Models [22.01769257075573]
拡散モデルは、推論時に遅いサンプル生成に悩まされる。事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
論文参考訳（メタデータ） (2023-10-11T21:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。