論文の概要: Table-to-Text Generation with Pretrained Diffusion Models

• arxiv url: http://arxiv.org/abs/2409.13739v1
• Date: Tue, 10 Sep 2024 15:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:35:28.585551
• Title: Table-to-Text Generation with Pretrained Diffusion Models
• Title（参考訳）: 事前学習拡散モデルによるテーブル・ツー・テキスト生成
• Authors: Aleksei S. Krylov, Oleg D. Somov,
• Abstract要約: 拡散モデルは様々なテキスト生成タスクにまたがって最先端のパフォーマンスを実現する上で大きな可能性を示している。 タスクに拡散モデルを適用し,詳細な解析を行うことにより,表から表への変換問題へのそれらの適用について検討する。 この結果から,表-テキスト領域において拡散モデルが同等の結果を得ることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have demonstrated significant potential in achieving state-of-the-art performance across various text generation tasks. In this systematic study, we investigate their application to the table-to-text problem by adapting the diffusion model to the task and conducting an in-depth analysis. Our experiments cover multiple aspects of diffusion models training. We explore sampling strategy influence by inducing recent diffusion model accelerator DPM-Solver++ into our core model. We have tested different prediction aggregation methods, like ROVER and Minimum Bayes-Risk (MBR). Our studies cover the impact of the pre-training phase in diffusion models and the generation length constraints influence. We also have compared diffusion model generation with auto-regressive text-to-text models with different temperature settings for diversity evaluation. Our key observation is that diffusion models demonstrate the balance between quality and diversity while auto-regressive text-to-text models are not successful at handling both at the same time. Furthermore, we found out that to achieve the highest quality possible, it is preferable to use a regular sampler with the strictest length constraint to create multiple samples, and then use MBR to aggregate the predictions. However, if you are prepared to give up high level of diversity and to accelerate the process, you can also utilize a fast sampler DPM-Solver++. Our findings reveal that diffusion models achieve comparable results in the table-to-text domain, highlighting their viability in the table-to-text challenge as a promising research direction.
• Abstract（参考訳）: 拡散モデルは様々なテキスト生成タスクにまたがって最先端のパフォーマンスを実現する上で大きな可能性を示している。 本研究では,タスクに拡散モデルを適用し,詳細な分析を行うことにより,テーブル・トゥ・テクスチャ問題へのそれらの適用について検討する。 我々の実験は拡散モデルトレーニングの様々な側面をカバーしている。 我々は,最近の拡散モデルアクセラレータDPM-Solver++をコアモデルに導入することにより,サンプリング戦略の影響について検討する。 ROVER や Minimum Bayes-Risk (MBR) など,様々な予測アグリゲーション手法を検証した。 本研究は,拡散モデルにおける事前学習相の影響と生成長制約の影響について述べる。 また,拡散モデル生成と自己回帰型テキスト・テキスト・テキスト・モデルとの比較を行った。 我々のキーとなる観察は、拡散モデルが品質と多様性のバランスを示す一方で、自動回帰テキスト-テキストモデルが同時に両方の処理に成功していないことである。 さらに,最大品質を達成するためには,複数のサンプルを作成するために最も厳密な長さ制約を持つ正則サンプリング器を用いて,予測をまとめるためにMBRを用いることが望ましいことがわかった。 しかし、ハイレベルな多様性を諦め、プロセスを加速する準備ができたら、DPM-Solver++の高速サンプリングも使えます。 本研究は,表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表-表

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
  本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。 われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
  論文  参考訳（メタデータ） (2024-03-09T01:15:03Z)
• Text Diffusion with Reinforced Conditioning [92.17397504834825]
  本稿では,テキスト拡散モデルを完全に解析し,トレーニング中の自己条件の劣化と,トレーニングとサンプリングのミスアライメントの2つの重要な限界を明らかにする。 そこで本研究では, TRECと呼ばれる新しいテキスト拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:24:02Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。