論文の概要: Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows

• arxiv url: http://arxiv.org/abs/2403.16995v1
• Date: Mon, 25 Mar 2024 17:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:15:04.193391
• Title: Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows
• Title（参考訳）: 言語認識フロー:確率的フローによる拡散言語生成の促進
• Authors: Shujian Zhang, Lemeng Wu, Chengyue Gong, Xingchao Liu,
• Abstract要約: 本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
• 参考スコア（独自算出の注目度）: 53.31856123113228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have demonstrated success in controlling sentence attributes ($e.g.$, sentiment) and structure ($e.g.$, syntactic structure) based on the diffusion language model. A key component that drives theimpressive performance for generating high-quality samples from noise is iteratively denoise for thousands of steps. While beneficial, the complexity of starting from the noise and the learning steps has limited its implementation to many NLP real-world applications. This paper proposes Language Rectified Flow ({\ours}). Our method is based on the reformulation of the standard probabilistic flow models. Language rectified flow learns (neural) ordinary differential equation models to transport between the source distribution and the target distribution, hence providing a unified and effective solution to generative modeling and domain transfer. From the source distribution, our language rectified flow yields fast simulation and effectively decreases the inference time. Experiments on three challenging fine-grained control tasks and multiple high-quality text editing show that our method consistently outperforms its baselines. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many NLP tasks.
• Abstract（参考訳）: 最近の研究は、拡散言語モデルに基づく文属性(例 $, 感情)と構造(例 $, 構文構造)の制御に成功している。 ノイズから高品質なサンプルを生成するための印象的なパフォーマンスを駆動する重要なコンポーネントは、何千ものステップに対して反復的に装飾的だ。 メリットはあるものの、ノイズと学習ステップから始める複雑さは、その実装を多くのNLP実世界のアプリケーションに限定している。 本稿では,Language Rectified Flow ({\ours})を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 言語修正フローは、(神経)常微分方程式モデルを学び、ソース分布とターゲット分布の間を移動し、生成的モデリングとドメイン転送に対する統一的で効果的なソリューションを提供する。 ソース分布から,我々の言語修正フローは高速なシミュレーションを行い,推論時間を効果的に短縮する。 3つの難易度制御タスクと複数の高品質テキスト編集実験により,本手法がベースラインを一貫して上回ることを示す。 大規模な実験とアブレーション研究により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。

関連論文リスト

• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies [21.024480978703288]
  本稿では,フローベース生成モデルに基づく模倣学習フレームワークであるAdaFlowを提案する。 AdaFlowは状態条件付き常微分方程式(ODE)によるポリシーを表す AdaFlowは高速な推論速度で高い性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T10:15:38Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。