Fugu-MT 論文翻訳(概要): Improving Discrete Diffusion Models via Structured Preferential Generation

論文の概要: Improving Discrete Diffusion Models via Structured Preferential Generation

arxiv url: http://arxiv.org/abs/2405.17889v1
Date: Tue, 28 May 2024 07:11:30 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 19:57:23.525253
Title: Improving Discrete Diffusion Models via Structured Preferential Generation
Title（参考訳）: 構造的優先度生成による離散拡散モデルの改善
Authors: Severi Rissanen, Markus Heinonen, Arno Solin,
Abstract要約: 本稿では, 離散拡散モデルの改良に, 構造化前処理を導入して挑戦する。提案手法は, 生成過程に偏り, 先行するカテゴリを生成させ, 結果としてtext8データセット上でのログライクなスコアが顕著に向上する。
参考スコア（独自算出の注目度）: 25.784316302130875
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the domains of image and audio, diffusion models have shown impressive performance. However, their application to discrete data types, such as language, has often been suboptimal compared to autoregressive generative models. This paper tackles the challenge of improving discrete diffusion models by introducing a structured forward process that leverages the inherent information hierarchy in discrete categories, such as words in text. Our approach biases the generative process to produce certain categories before others, resulting in a notable improvement in log-likelihood scores on the text8 dataset. This work paves the way for more advances in discrete diffusion models with potentially significant enhancements in performance.
Abstract（参考訳）: 画像と音声の領域では、拡散モデルは印象的な性能を示している。しかしながら、言語などの離散データ型へのそれらの適用は、自己回帰生成モデルと比較すると、しばしば準最適である。本稿では,テキスト中の単語などの個別のカテゴリにおける固有情報階層を活用する構造的前方処理を導入することで,離散拡散モデルの改善に挑戦する。提案手法は, 生成過程に偏り, 先行するカテゴリを生成させ, 結果としてtext8データセット上でのログライクなスコアが顕著に向上する。この研究は、離散拡散モデルにおけるさらなる進歩の道を開くもので、性能が大幅に向上する可能性がある。

関連論文リスト

GASE: Generatively Augmented Sentence Encoding [0.0]
本稿では,データ拡張のための生成テキストモデルを推論時に適用することにより,文の埋め込みを強化する手法を提案する。 Generatively Augmented Sentenceは、パラフレーズ、要約、あるいはキーワードの抽出によって生成される入力テキストの多様な合成変種を使用する。生成的拡張により,ベースライン性能の低い埋め込みモデルの性能が向上することが判明した。
論文参考訳（メタデータ） (2024-11-07T17:53:47Z)
Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文参考訳（メタデータ） (2024-10-28T17:25:56Z)
DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文参考訳（メタデータ） (2024-03-20T04:58:03Z)
Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文参考訳（メタデータ） (2024-02-15T18:59:18Z)
Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文参考訳（メタデータ） (2023-11-22T15:07:59Z)
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文参考訳（メタデータ） (2023-10-25T17:59:12Z)
Image retrieval outperforms diffusion models on data augmentation [36.559967424331695]
拡散モデルは、分類などの下流タスクのためのトレーニングデータセットを強化するために提案されている。強化のために事前学習プロセスの追加データを直接利用して、改善を十分に一般化するかどうかは不明だ。ターゲットデータに対する拡散モデルのパーソナライズは、より単純なプロンプト戦略より優れている。しかし,拡散モデルの事前学習データのみを用いることで,より強力な下流性能が得られる。
論文参考訳（メタデータ） (2023-04-20T12:21:30Z)
Diffusing Gaussian Mixtures for Generating Categorical Data [21.43283907118157]
本稿では,高品質なサンプル生成に着目した拡散モデルに基づく分類データの生成モデルを提案する。評価手法は、分類データを生成するための異なる生成モデルの能力と限界を強調した。
論文参考訳（メタデータ） (2023-03-08T14:55:32Z)
A Reparameterized Discrete Diffusion Model for Text Generation [39.0145272152805]
本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
論文参考訳（メタデータ） (2023-02-11T16:26:57Z)
A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文参考訳（メタデータ） (2022-09-06T16:56:21Z)
Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。近年,拡散モデルの性能向上への熱意が高まっている。
論文参考訳（メタデータ） (2022-09-02T02:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。