論文の概要: What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability

• arxiv url: http://arxiv.org/abs/2305.11707v1
• Date: Fri, 19 May 2023 14:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 14:08:49.267889
• Title: What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability
• Title（参考訳）: 次は何だ? 人為的生産変動に対するニューラルテキスト生成装置の不確かさの評価
• Authors: Mario Giulianelli, Joris Baan, Wilker Aziz, Raquel Fern\'andez, Barbara Plank
• Abstract要約: 我々は,4つの自然言語生成(NLG)タスクにおいて,人間の生産が語彙的に,構文的に,意味的に変化する範囲を特徴付ける。 次に、生成系の予測確率分布と復号化アルゴリズムによって形成される出力文字列の空間を調べ、その不確実性を探索する。 我々は、NLGモデルと復号化戦略を分析し、複数のサンプルを持つジェネレータを探索することで、モデルの不確実性表現を理解するのに必要な詳細レベルが提供されることを示した。
• 参考スコア（独自算出の注目度）: 25.04080078488189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Natural Language Generation (NLG) tasks, for any input, multiple communicative goals are plausible, and any goal can be put into words, or produced, in multiple ways. We characterise the extent to which human production varies lexically, syntactically, and semantically across four NLG tasks, connecting human production variability to aleatoric or data uncertainty. We then inspect the space of output strings shaped by a generation system's predicted probability distribution and decoding algorithm to probe its uncertainty. For each test input, we measure the generator's calibration to human production variability. Following this instance-level approach, we analyse NLG models and decoding strategies, demonstrating that probing a generator with multiple samples and, when possible, multiple references, provides the level of detail necessary to gain understanding of a model's representation of uncertainty.
• Abstract（参考訳）: 自然言語生成(nlg)タスクでは、任意の入力に対して、複数のコミュニケーション目標が実現可能であり、任意の目標を複数の方法で単語や生成することができる。 我々は,人間の生産能力が4つのnlgタスクにまたがって語彙的,構文的,意味的に変動する程度を特徴とし,人間の生産変動をアレータリックやデータ不確かさに結びつける。 次に、生成システムの予測確率分布と復号アルゴリズムによって形成される出力文字列の空間を検査し、その不確かさを調べる。 テスト入力毎に, 発電機のキャリブレーションと人為的生産変動を計測する。 このインスタンスレベルのアプローチに従うと、NLGモデルとデコード戦略を分析し、生成元を複数のサンプルで探索し、可能であれば複数の参照がモデルの不確実性の表現を理解するために必要な詳細レベルを提供する。

関連論文リスト

• Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks [22.629816738693254]
  BLEUのような一般的なNLGメトリクスは、合成トラフィック生成(STG)の評価には適していないことを示す。 生成したトラフィックと実際のユーザテキストの分布を比較するために設計されたいくつかの指標を提案し,評価する。
  論文  参考訳（メタデータ） (2023-11-21T11:26:26Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors [21.71928935339393]
  高品質なテキストを生成するための新しい潜在構造変数モデルを提案する。 具体的には、決定論的エンコーダの隠蔽状態をランダムな文脈変数にマッピングする関数を導入する。 ガウス過程の学習課題に対処するために,効率的な変分推論手法を提案する。
  論文  参考訳（メタデータ） (2022-04-04T04:09:15Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。