論文の概要: On the probability-quality paradox in language generation
- arxiv url: http://arxiv.org/abs/2203.17217v1
- Date: Thu, 31 Mar 2022 17:43:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 15:10:21.623707
- Title: On the probability-quality paradox in language generation
- Title（参考訳）: 言語生成における確率品質パラドックスについて
- Authors: Clara Meister and Gian Wiher and Tiago Pimentel and Ryan Cotterell
- Abstract要約: 我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
- 参考スコア（独自算出の注目度）: 76.69397802617064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When generating natural language from neural probabilistic models, high
probability does not always coincide with high quality: It has often been
observed that mode-seeking decoding methods, i.e., those that produce
high-probability text under the model, lead to unnatural language. On the other
hand, the lower-probability text generated by stochastic methods is perceived
as more human-like. In this note, we offer an explanation for this phenomenon
by analyzing language generation through an information-theoretic lens.
Specifically, we posit that human-like language should contain an amount of
information (quantified as negative log-probability) that is close to the
entropy of the distribution over natural strings. Further, we posit that
language with substantially more (or less) information is undesirable. We
provide preliminary empirical evidence in favor of this hypothesis; quality
ratings of both human and machine-generated text -- covering multiple tasks and
common decoding strategies -- suggest high-quality text has an information
content significantly closer to the entropy than we would expect by chance.
- Abstract（参考訳）: ニューラル確率論的モデルから自然言語を生成するとき、高い確率は必ずしも高い品質に一致するとは限らない: モード探索復号法、すなわちモデルの下で高確率テキストを生成するものは、不自然な言語をもたらすことがしばしば観察されている。
一方,確率的手法によって生成された低確率テキストは,より人間的と考えられる。
本稿では,情報理論レンズを用いて言語生成を分析することにより,この現象を説明する。
具体的には、自然文字列の分布のエントロピーに近い情報量(負のログ確率として定量化される)を含むべきだと仮定する。
さらに、より多く(または少ない)情報を持つ言語は望ましくないと仮定する。
複数のタスクと一般的なデコード戦略をカバーする、人間と機械が生成したテキストの品質評価は、高い品質のテキストが、偶然よりもエントロピーにかなり近い情報コンテンツを持っていることを示唆している。
関連論文リスト
- QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。
我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。
以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
論文 参考訳（メタデータ） (2024-10-14T12:44:59Z) - A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。
我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
論文 参考訳（メタデータ） (2024-06-14T17:38:21Z) - Mutual Information Alleviates Hallucinations in Abstractive
Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。
この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。
そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T13:30:54Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。
ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文 参考訳（メタデータ） (2020-02-09T19:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。