論文の概要: Revisiting Entropy Rate Constancy in Text
- arxiv url: http://arxiv.org/abs/2305.12084v2
- Date: Wed, 18 Oct 2023 01:02:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 20:19:43.216216
- Title: Revisiting Entropy Rate Constancy in Text
- Title(参考訳): テキストにおけるエントロピー速度定数の再検討
- Authors: Vivek Verma, Nicholas Tomlin, Dan Klein
- Abstract要約: 均一な情報密度仮説は、人間がほぼ均等に情報を発話や談話に分配する傾向があることを示している。
我々は、ニューラル言語モデルによるGenzel & Charniak(2002)の主張を再評価し、エントロピー速度の不安定性を支持する明確な証拠を見出すことに失敗した。
- 参考スコア(独自算出の注目度): 43.928576088761844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The uniform information density (UID) hypothesis states that humans tend to
distribute information roughly evenly across an utterance or discourse. Early
evidence in support of the UID hypothesis came from Genzel & Charniak (2002),
which proposed an entropy rate constancy principle based on the probability of
English text under n-gram language models. We re-evaluate the claims of Genzel
& Charniak (2002) with neural language models, failing to find clear evidence
in support of entropy rate constancy. We conduct a range of experiments across
datasets, model sizes, and languages and discuss implications for the uniform
information density hypothesis and linguistic theories of efficient
communication more broadly.
- Abstract(参考訳): 均一情報密度(UID)仮説は、人間がほぼ均等に情報を発話や談話に分散する傾向があることを示している。
uid仮説を支持する初期の証拠はgenzel & charniak (2002) から出され、n-gram 言語モデルの下で英語のテキストの確率に基づくエントロピー率定数原理を提案した。
我々は、genzel & charniak (2002) の主張をニューラルネットワークモデルで再評価し、エントロピー率定数を支持する明確な証拠を見つけられなかった。
我々は、データセット、モデルサイズ、言語にまたがる様々な実験を行い、一様情報密度仮説や効率的なコミュニケーションの言語理論について、より広範に論じる。
関連論文リスト
- A Cross-Linguistic Pressure for Uniform Information Density in Word
Order [79.54362557462359]
実数列が反実数列よりも大きな情報均一性をもたらすかどうかを計算モデルを用いて検証する。
SVO言語の中では、実語順は逆語順よりも一様である。
言語的に不可解な反実順序のみが、実際の順序の均一性を超えている。
論文 参考訳(メタデータ) (2023-06-06T14:52:15Z) - Estimating the Entropy of Linguistic Distributions [75.20045001387685]
言語分布に対する異なるエントロピー推定器の実証的有効性について検討した。
報告された効果の大きさは、低エントロピー推定器への過度な信頼のために過大評価されていることを示す。
論文 参考訳(メタデータ) (2022-04-04T13:36:46Z) - On the probability-quality paradox in language generation [76.69397802617064]
我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
論文 参考訳(メタデータ) (2022-03-31T17:43:53Z) - Revisiting the Uniform Information Density Hypothesis [44.277066511088634]
読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。
受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
論文 参考訳(メタデータ) (2021-09-23T20:41:47Z) - A Cognitive Regularizer for Language Modeling [36.256053903862956]
UIDを正規化として符号化することで、言語モデルをトレーニングするための標準MLEの目的を拡大する。
UID正規化の使用は言語モデルの難易度を一貫して改善する。
また、UID正規化言語モデルはエントロピーが高く、より長く、より語彙的に多様なテキストを生成する。
論文 参考訳(メタデータ) (2021-05-15T05:37:42Z) - Exploring Lexical Irregularities in Hypothesis-Only Models of Natural
Language Inference [5.283529004179579]
自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。
包含を理解するモデルは前提と仮説の両方をエンコードするべきである。
Poliakらによる実験。
仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
論文 参考訳(メタデータ) (2021-01-19T01:08:06Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳(メタデータ) (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。