論文の概要: Diff-Glat: Diffusion Glancing Transformer for Parallel Sequence to
Sequence Learning
- arxiv url: http://arxiv.org/abs/2212.10240v1
- Date: Tue, 20 Dec 2022 13:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 15:28:59.854900
- Title: Diff-Glat: Diffusion Glancing Transformer for Parallel Sequence to
Sequence Learning
- Title(参考訳): diff-glat:並列シーケンスからシーケンス学習への拡散グライダートランス
- Authors: Lihua Qian, Mingxuan Wang, Yang Liu, Hao Zhou
- Abstract要約: 非自己回帰モデルであるDiff-Glatを提案する。
Diff-Glat は自己回帰変換器と比較して復号効率と精度の両方で優れた性能が得られることを示した。
- 参考スコア(独自算出の注目度): 40.65750337976382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For sequence generation, both autoregressive models and non-autoregressive
models have been developed in recent years. Autoregressive models can achieve
high generation quality, but the sequential decoding scheme causes slow
decoding speed. Non-autoregressive models accelerate the inference speed with
parallel decoding, while their generation quality still needs to be improved
due to the difficulty of modeling multi-modalities in data. To address the
multi-modality issue, we propose Diff-Glat, a non-autoregressive model featured
with a modality diffusion process and residual glancing training. The modality
diffusion process decomposes the modalities and reduces the modalities to learn
for each transition. And the residual glancing sampling further smooths the
modality learning procedures. Experiments demonstrate that, without using
knowledge distillation data, Diff-Glat can achieve superior performance in both
decoding efficiency and accuracy compared with the autoregressive Transformer.
- Abstract(参考訳): シーケンス生成では、自己回帰モデルと非自己回帰モデルの両方が近年開発されている。
自己回帰モデルは高い世代品質を達成することができるが、シーケンシャルデコード方式は遅いデコード速度を引き起こす。
非自己回帰モデルは並列デコーディングで推論速度を加速するが、データのマルチモーダルのモデリングが困難であるため、生成品質は改善される必要がある。
マルチモダリティ問題に対処するために,モダリティ拡散過程と残留滑空訓練を特徴とする非自己回帰モデルdiff-glatを提案する。
モダリティ拡散過程はモダリティを分解し、各遷移について学ぶモダリティを減少させる。
そして、残光サンプリングは、さらにモダリティ学習手順を円滑にする。
Diff-Glatは, 知識蒸留データを用いることなく, 自己回帰変換器と比較して, 復号効率と精度の両方において優れた性能が得られることを示した。
関連論文リスト
- Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Fast Sampling via De-randomization for Discrete Diffusion Models [52.554915711265856]
本稿では, 離散拡散モデルの高速化に繋がる非ランダム化拡散過程を提案する。
提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
自然言語生成および機械翻訳タスクの実験は,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-14T18:14:11Z) - Neural Diffusion Models [2.447795279790662]
本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。
NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
論文 参考訳(メタデータ) (2023-10-12T13:54:55Z) - Latent Consistency Models: Synthesizing High-Resolution Images with
Few-Step Inference [60.32804641276217]
本稿では,LCM(Latent Consistency Models)を提案する。
高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。
また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
論文 参考訳(メタデータ) (2023-10-06T17:11:58Z) - DeeDiff: Dynamic Uncertainty-Aware Early Exiting for Accelerating
Diffusion Model Generation [34.7016118539358]
DeeDiffは、拡散モデルの生成効率を改善するために、各サンプリングステップで計算リソースを適応的に割り当てる早期終了フレームワークである。
本稿では,モデル全体の性能ギャップを埋めるため,不確実性を考慮したレイヤワイズ損失を提案する。
本手法は,拡散モデルにおける既存の早期出口法と比較して,最先端の性能と効率のトレードオフを実現する。
論文 参考訳(メタデータ) (2023-09-29T09:10:04Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
本稿では,条件付き画像生成のための多目的フレームワークを提案する。
CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。
提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
論文 参考訳(メタデータ) (2022-07-21T22:19:17Z) - Symbolic Music Generation with Diffusion Models [4.817429789586127]
本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。
同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
論文 参考訳(メタデータ) (2021-03-30T05:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。