論文の概要: Diff-Glat: Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning

• arxiv url: http://arxiv.org/abs/2212.10240v1
• Date: Tue, 20 Dec 2022 13:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:28:59.854900
• Title: Diff-Glat: Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning
• Title（参考訳）: diff-glat:並列シーケンスからシーケンス学習への拡散グライダートランス
• Authors: Lihua Qian, Mingxuan Wang, Yang Liu, Hao Zhou
• Abstract要約: 非自己回帰モデルであるDiff-Glatを提案する。 Diff-Glat は自己回帰変換器と比較して復号効率と精度の両方で優れた性能が得られることを示した。
• 参考スコア（独自算出の注目度）: 40.65750337976382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For sequence generation, both autoregressive models and non-autoregressive models have been developed in recent years. Autoregressive models can achieve high generation quality, but the sequential decoding scheme causes slow decoding speed. Non-autoregressive models accelerate the inference speed with parallel decoding, while their generation quality still needs to be improved due to the difficulty of modeling multi-modalities in data. To address the multi-modality issue, we propose Diff-Glat, a non-autoregressive model featured with a modality diffusion process and residual glancing training. The modality diffusion process decomposes the modalities and reduces the modalities to learn for each transition. And the residual glancing sampling further smooths the modality learning procedures. Experiments demonstrate that, without using knowledge distillation data, Diff-Glat can achieve superior performance in both decoding efficiency and accuracy compared with the autoregressive Transformer.
• Abstract（参考訳）: シーケンス生成では、自己回帰モデルと非自己回帰モデルの両方が近年開発されている。 自己回帰モデルは高い世代品質を達成することができるが、シーケンシャルデコード方式は遅いデコード速度を引き起こす。 非自己回帰モデルは並列デコーディングで推論速度を加速するが、データのマルチモーダルのモデリングが困難であるため、生成品質は改善される必要がある。 マルチモダリティ問題に対処するために,モダリティ拡散過程と残留滑空訓練を特徴とする非自己回帰モデルdiff-glatを提案する。 モダリティ拡散過程はモダリティを分解し、各遷移について学ぶモダリティを減少させる。 そして、残光サンプリングは、さらにモダリティ学習手順を円滑にする。 Diff-Glatは, 知識蒸留データを用いることなく, 自己回帰変換器と比較して, 復号効率と精度の両方において優れた性能が得られることを示した。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• Sequential Posterior Sampling with Diffusion Models [15.028061496012924]
  条件付き画像合成における逐次拡散後サンプリングの効率を向上させるため,遷移力学をモデル化する新しい手法を提案する。 本研究では,高フレームレート心エコー画像の現実的データセットに対するアプローチの有効性を実証する。 提案手法は,画像の拡散モデルとリアルタイム推論を必要とする他の領域における拡散モデルのリアルタイム適用の可能性を開く。
  論文  参考訳（メタデータ） (2024-09-09T07:55:59Z)
• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models [49.598085130313514]
  離散データ生成のための高速化された逆サンプリングを許容する離散非マルコフ拡散モデルを提案する。 提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Neural Diffusion Models [2.1779479916071067]
  本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。 NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-12T13:54:55Z)
• Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
  本稿では,条件付き画像生成のための多目的フレームワークを提案する。 CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。 提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
  論文  参考訳（メタデータ） (2022-07-21T22:19:17Z)
• Symbolic Music Generation with Diffusion Models [4.817429789586127]
  本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。 同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T05:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。