論文の概要: Revisiting Entropy Rate Constancy in Text

• arxiv url: http://arxiv.org/abs/2305.12084v1
• Date: Sat, 20 May 2023 03:48:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 00:58:10.673554
• Title: Revisiting Entropy Rate Constancy in Text
• Title（参考訳）: テキストにおけるエントロピー速度定数の再検討
• Authors: Vivek Verma, Nicholas Tomlin, Dan Klein
• Abstract要約: 均一な情報密度仮説は、人間がほぼ均等に情報を発話や談話に分配する傾向があることを示している。 我々は、ニューラル言語モデルによるGenzel & Charniak(2002)の主張を再評価し、エントロピー速度の不安定性を支持する明確な証拠を見出すことに失敗した。
• 参考スコア（独自算出の注目度）: 35.565928281597856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The uniform information density (UID) hypothesis states that humans tend to distribute information roughly evenly across an utterance or discourse. Early evidence in support of the UID hypothesis came from Genzel & Charniak (2002), which proposed an entropy rate constancy principle based on the probability of English text under n-gram language models. We re-evaluate the claims of Genzel & Charniak (2002) with neural language models, failing to find clear evidence in support of entropy rate constancy. We conduct a range of experiments across datasets, model sizes, and languages and discuss implications for the uniform information density hypothesis and linguistic theories of efficient communication more broadly.
• Abstract（参考訳）: 均一情報密度(UID)仮説は、人間がほぼ均等に情報を発話や談話に分散する傾向があることを示している。 uid仮説を支持する初期の証拠はgenzel & charniak (2002) から出され、n-gram 言語モデルの下で英語のテキストの確率に基づくエントロピー率定数原理を提案した。 我々は、genzel & charniak (2002) の主張をニューラルネットワークモデルで再評価し、エントロピー率定数を支持する明確な証拠を見つけられなかった。 我々は、データセット、モデルサイズ、言語にまたがる様々な実験を行い、一様情報密度仮説や効率的なコミュニケーションの言語理論について、より広範に論じる。

関連論文リスト

• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
  脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。 本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• That's Optional: A Contemporary Exploration of "that" Omission in English Subordinate Clauses [2.1781981800541805]
  均一情報密度仮説は、話者が情報のスパイクを避けることによって発話のコミュニケーション特性を最適化することを示唆している。 本稿では,UIDの原則が統語的還元に与える影響について検討し,特に英語の従属節におけるコネクタ「 that」の省略点に着目した。
  論文  参考訳（メタデータ） (2024-05-31T14:23:30Z)
• Estimating the Entropy of Linguistic Distributions [75.20045001387685]
  言語分布に対する異なるエントロピー推定器の実証的有効性について検討した。 報告された効果の大きさは、低エントロピー推定器への過度な信頼のために過大評価されていることを示す。
  論文  参考訳（メタデータ） (2022-04-04T13:36:46Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Revisiting the Uniform Information Density Hypothesis [44.277066511088634]
  読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
  論文  参考訳（メタデータ） (2021-09-23T20:41:47Z)
• A Cognitive Regularizer for Language Modeling [36.256053903862956]
  UIDを正規化として符号化することで、言語モデルをトレーニングするための標準MLEの目的を拡大する。 UID正規化の使用は言語モデルの難易度を一貫して改善する。 また、UID正規化言語モデルはエントロピーが高く、より長く、より語彙的に多様なテキストを生成する。
  論文  参考訳（メタデータ） (2021-05-15T05:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。