論文の概要: DiffSampling: Enhancing Diversity and Accuracy in Neural Text Generation

• arxiv url: http://arxiv.org/abs/2502.14037v1
• Date: Wed, 19 Feb 2025 19:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:30:14.576311
• Title: DiffSampling: Enhancing Diversity and Accuracy in Neural Text Generation
• Title（参考訳）: DiffSampling: ニューラルネットワーク生成における多様性と精度の向上
• Authors: Giorgio Franceschelli, Mirco Musolesi,
• Abstract要約: 本稿では,トークン確率分布の数学的解析を利用した3種類の新しい復号法を提案する。 私たちのアプローチは、品質と多様性の面で、少なくとも現在の代替手段と同様に、一貫して機能します。
• 参考スコア（独自算出の注目度）: 2.4555276449137042
• License:
• Abstract: Despite their increasing performance, large language models still tend to reproduce training data, generate several repetitions, and focus on the most common grammatical structures and words. A possible cause is the decoding strategy adopted: the most common ones either consider only the most probable tokens, reducing output diversity, or increase the likelihood of unlikely tokens at the cost of output accuracy and correctness. In this paper, we propose a family of three new decoding methods by leveraging a mathematical analysis of the token probability distribution. In particular, the difference between consecutive, sorted probabilities can be used to avoid incorrect tokens and increase the chance of low-probable but accurate words. Experiments concerning math problem solving, extreme summarization, and the divergent association task show that our approach consistently performs at least as well as current alternatives in terms of quality and diversity.
• Abstract（参考訳）: 性能が向上したにもかかわらず、大きな言語モデルは依然としてトレーニングデータを再現し、いくつかの繰り返しを生成し、最も一般的な文法構造と単語に焦点を当てる傾向にある。 最も一般的なものは、最も可能性の高いトークンのみを考慮し、出力の多様性を減らし、あるいは、出力精度と正確さの犠牲で不可能なトークンの可能性を増大させる。 本稿では,トークン確率分布の数学的解析を利用した3種類の新しい復号法を提案する。 特に、連続的なソートされた確率の差は、不正なトークンを避け、確率が低いが正確な単語の確率を高めるために用いられる。 数学問題の解法,過度の要約,および発散した関連課題に関する実験は,我々のアプローチが品質と多様性の観点から,少なくとも現在の代替手段と同様に一貫して実行可能であることを示している。

関連論文リスト

• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• How to Compute the Probability of a Word [45.23856093235994]
  本稿では,単語確率の正しい計算法を導出する。 確率計算における広範囲なバグの修正は,文理解および語彙最適化分析における測定結果に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:59:42Z)
• Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
  サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。 そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。 SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
  論文  参考訳（メタデータ） (2024-03-26T09:25:57Z)
• Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
  トラニケートサンプリングの有効性を理論的に説明する。 モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。 提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:16:25Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Improving Diversity of Neural Text Generation via Inverse Probability Weighting [43.36560720793425]
  逆確率重み付けにインスパイアされたサンプリング手法を提案する。 繰り返しループに繋がる確率の高い,退屈な,あるいは反復的な候補も含んでいる可能性がある。 結果から,本アルゴリズムは,人文に近づきながら,生成したサンプルの多様性を効果的に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-03-13T08:17:40Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。