論文の概要: Diffusion Glancing Transformer for Parallel Sequence to Sequence
Learning
- arxiv url: http://arxiv.org/abs/2212.10240v2
- Date: Wed, 29 Nov 2023 08:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 04:13:11.492469
- Title: Diffusion Glancing Transformer for Parallel Sequence to Sequence
Learning
- Title(参考訳): 並列シーケンス学習のための拡散グランシング変換器
- Authors: Lihua Qian, Mingxuan Wang, Yang Liu, Hao Zhou
- Abstract要約: モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。
DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
- 参考スコア(独自算出の注目度): 52.72369034247396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previously, non-autoregressive models were widely perceived as being superior
in generation efficiency but inferior in generation quality due to the
difficulties of modeling multiple target modalities. To enhance the
multi-modality modeling ability, we propose the diffusion glancing transformer,
which employs a modality diffusion process and residual glancing sampling. The
modality diffusion process is a discrete process that interpolates the
multi-modal distribution along the decoding steps, and the residual glancing
sampling approach guides the model to continuously learn the remaining
modalities across the layers. Experimental results on various machine
translation and text generation benchmarks demonstrate that DIFFGLAT achieves
better generation accuracy while maintaining fast decoding speed compared with
both autoregressive and non-autoregressive models.
- Abstract(参考訳): 従来、非自己回帰モデルは、複数の目標モダリティのモデリングが困難であるため、生成効率は優れているが、生成品質は劣っていると広く認識されていた。
マルチモダリティモデリング能力を向上させるために,モダリティ拡散過程と残留グライシングサンプリングを用いた拡散グライシングトランスを提案する。
モダリティ拡散過程は、復号過程に沿って多重モーダル分布を補間する離散過程であり、残留グラランシングサンプリングアプローチはモデルを誘導し、残りのモダリティを層全体で連続的に学習する。
各種機械翻訳およびテキスト生成ベンチマークの実験結果から、DIFFGLATは自己回帰モデルと非自己回帰モデルの両方と比較して高速な復号速度を維持しつつ、より優れた生成精度を実現することが示された。
関連論文リスト
- Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Fast Sampling via De-randomization for Discrete Diffusion Models [52.554915711265856]
本稿では, 離散拡散モデルの高速化に繋がる非ランダム化拡散過程を提案する。
提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
自然言語生成および機械翻訳タスクの実験は,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-14T18:14:11Z) - Neural Diffusion Models [2.447795279790662]
本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。
NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
論文 参考訳(メタデータ) (2023-10-12T13:54:55Z) - Latent Consistency Models: Synthesizing High-Resolution Images with
Few-Step Inference [60.32804641276217]
本稿では,LCM(Latent Consistency Models)を提案する。
高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。
また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
論文 参考訳(メタデータ) (2023-10-06T17:11:58Z) - DeeDiff: Dynamic Uncertainty-Aware Early Exiting for Accelerating
Diffusion Model Generation [34.7016118539358]
DeeDiffは、拡散モデルの生成効率を改善するために、各サンプリングステップで計算リソースを適応的に割り当てる早期終了フレームワークである。
本稿では,モデル全体の性能ギャップを埋めるため,不確実性を考慮したレイヤワイズ損失を提案する。
本手法は,拡散モデルにおける既存の早期出口法と比較して,最先端の性能と効率のトレードオフを実現する。
論文 参考訳(メタデータ) (2023-09-29T09:10:04Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
本稿では,条件付き画像生成のための多目的フレームワークを提案する。
CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。
提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
論文 参考訳(メタデータ) (2022-07-21T22:19:17Z) - Symbolic Music Generation with Diffusion Models [4.817429789586127]
本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。
同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
論文 参考訳(メタデータ) (2021-03-30T05:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。