論文の概要: On the Efficacy of Sampling Adapters

• arxiv url: http://arxiv.org/abs/2307.03749v2
• Date: Fri, 5 Jan 2024 15:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 18:13:58.649735
• Title: On the Efficacy of Sampling Adapters
• Title（参考訳）: サンプリングアダプタの有効性について
• Authors: Clara Meister, Tiago Pimentel, Luca Malagutti, Ethan G. Wilcox, Ryan Cotterell
• Abstract要約: サンプリングアダプタを理解するための統一的なフレームワークを提案する。 彼らが実施するシフトは、正確さとリコールの間のトレードオフと見なすことができる、と私たちは主張する。 いくつかの精度強調尺度は、サンプリングアダプタが真の分布とより整合した確率分布をもたらすことを確実に示している。
• 参考スコア（独自算出の注目度）: 82.5941326570812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling is a common strategy for generating text from probabilistic models, yet standard ancestral sampling often results in text that is incoherent or ungrammatical. To alleviate this issue, various modifications to a model's sampling distribution, such as nucleus or top-k sampling, have been introduced and are now ubiquitously used in language generation systems. We propose a unified framework for understanding these techniques, which we term sampling adapters. Sampling adapters often lead to qualitatively better text, which raises the question: From a formal perspective, how are they changing the (sub)word-level distributions of language generation models? And why do these local changes lead to higher-quality text? We argue that the shift they enforce can be viewed as a trade-off between precision and recall: while the model loses its ability to produce certain strings, its precision rate on desirable text increases. While this trade-off is not reflected in standard metrics of distribution quality (such as perplexity), we find that several precision-emphasizing measures indeed indicate that sampling adapters can lead to probability distributions more aligned with the true distribution. Further, these measures correlate with higher sequence-level quality scores, specifically, Mauve.
• Abstract（参考訳）: サンプリングは確率モデルからテキストを生成する一般的な戦略であるが、標準祖先サンプリングはしばしば一貫性のない、あるいは文法的でないテキストを生成する。 この問題を軽減するために、nucleusやtop-kサンプリングなどのモデルのサンプリング分布の様々な変更が導入され、現在では言語生成システムで広く使われている。 我々は,これらの手法を理解するための統一フレームワークを提案する。 サンプリングアダプタは、質的に優れたテキストをもたらすことが多いので、質問を提起する。 形式的な見地からすると、言語生成モデルの(サブ)単語レベルの分布をどのように変えているのか? なぜローカルな変更が高品質なテキストに繋がるのでしょうか? モデルが特定の文字列を生成する能力を失う一方で、望ましいテキストに対する精度が向上する。 このトレードオフは、分布品質の標準指標(パープレキシティなど)には反映されていないが、いくつかの精度強調指標は、サンプリングアダプタが真の分布に合致する確率分布をもたらすことを実際に示している。 さらに、これらの尺度は、特にMauveのような、より高いシーケンスレベルの品質スコアと相関する。

関連論文リスト

• A Fundamental Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  汎用言語モデルとその整列バージョンが与えられた場合、一般的な言語モデルの下では、平均報酬と平均ログライクな文字列の間にトレードオフが存在する。 この問題を形式的に処理し、サンプリングアダプタの選択が、報酬と交換する可能性の選択を可能にすることを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
  目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。 我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-29T18:00:56Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• An Invariant Learning Characterization of Controlled Text Generation [25.033675230270212]
  制御生成(英語: Controlled generation)とは、興味のある文体や意味的な属性を含むテキストを作成する問題である。 ユーザプロンプトに応答するテキストの分布が、予測器がトレーニングした分布と異なる場合、制御された生成の性能は低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-05-31T21:35:08Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。