論文の概要: Waste Not, Want Not; Recycled Gumbel Noise Improves Consistency in Natural Language Generation

• arxiv url: http://arxiv.org/abs/2503.00831v1
• Date: Sun, 02 Mar 2025 10:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:20:30.910404
• Title: Waste Not, Want Not; Recycled Gumbel Noise Improves Consistency in Natural Language Generation
• Title（参考訳）: リサイクルガンベル騒音による自然言語生成の整合性の改善
• Authors: Damien de Mijolla, Hannan Saddiq, Kim Moore,
• Abstract要約: 本稿では,異なるプロンプト間の応答整合性を向上させる新しい復号アルゴリズムを提案する。 本手法は, セマンティックおよびスタイリスティックな整合性ベンチマークにおいて, 標準サンプリングを最大10%向上させる。
• 参考スコア（独自算出の注目度）: 0.5461938536945723
• License:
• Abstract: Consistency in the output of language models is critical for their reliability and practical utility. Due to their training objective, language models learn to model the full space of possible continuations, leading to outputs that can vary significantly in style and content, even for similar or repeated inputs. To address this, we propose a novel decoding algorithm that enhances response consistency across different prompts with no degradation in response quality. By incorporating a latent variable into the next-token sampling process based on the Gumbel reparametrisation trick, our method outperforms standard sampling by up to 10% across semantic and stylistic consistency benchmarks. Additionally, our approach integrates seamlessly with existing sampling methods with negligible computational overhead, providing a practical solution for improving the reliability of language model outputs.
• Abstract（参考訳）: 言語モデルの出力の一貫性は、その信頼性と実用性に不可欠である。 学習目的のため、言語モデルは継続の可能性の全空間をモデル化することを学び、類似または繰り返し入力であっても、スタイルや内容に大きく異なる出力をもたらす。 そこで本研究では,応答品質を劣化させることなく,異なるプロンプト間の応答一貫性を向上させる新しい復号アルゴリズムを提案する。 Gumbel Reparametrisation のトリックをベースとした次世代サンプリングプロセスに潜伏変数を組み込むことにより,本手法はセマンティックおよびスタイリスティックな整合性ベンチマークにおいて,標準サンプリングを最大10%向上させる。 さらに,提案手法は既存のサンプリング手法とシームレスに統合され,言語モデル出力の信頼性向上のための実用的なソリューションを提供する。

関連論文リスト

• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
  本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
  論文  参考訳（メタデータ） (2024-03-25T17:58:22Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Step-unrolled Denoising Autoencoders for Text Generation [17.015573262373742]
  本稿では,SUNDAE(Step-unrolled Denoising Autoencoder)というテキスト生成モデルを提案する。 SUNDAEはトークンの列に繰り返し適用され、ランダムな入力から始まり、収束するまで毎回改善される。 拡散法よりも少ないイテレーションで収束する単純な改良演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-13T16:00:33Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Language Model Evaluation in Open-ended Text Generation [0.76146285961466]
  本研究では,機械生成テキストの品質,多様性,一貫性を評価するために提案されている評価指標について検討する。 そこで我々は,オープン・エンド・ジェネレーション・タスクにおいて,言語モデルを評価するための実用的なパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-08-08T06:16:02Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。