論文の概要: Revisiting the Uniform Information Density Hypothesis

• arxiv url: http://arxiv.org/abs/2109.11635v1
• Date: Thu, 23 Sep 2021 20:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:16:56.210451
• Title: Revisiting the Uniform Information Density Hypothesis
• Title（参考訳）: 一様情報密度仮説の再検討
• Authors: Clara Meister, Tiago Pimentel, Patrick Haller, Lena J\"ager, Ryan Cotterell, Roger Levy
• Abstract要約: 読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
• 参考スコア（独自算出の注目度）: 44.277066511088634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The uniform information density (UID) hypothesis posits a preference among language users for utterances structured such that information is distributed uniformly across a signal. While its implications on language production have been well explored, the hypothesis potentially makes predictions about language comprehension and linguistic acceptability as well. Further, it is unclear how uniformity in a linguistic signal -- or lack thereof -- should be measured, and over which linguistic unit, e.g., the sentence or language level, this uniformity should hold. Here we investigate these facets of the UID hypothesis using reading time and acceptability data. While our reading time results are generally consistent with previous work, they are also consistent with a weakly super-linear effect of surprisal, which would be compatible with UID's predictions. For acceptability judgments, we find clearer evidence that non-uniformity in information density is predictive of lower acceptability. We then explore multiple operationalizations of UID, motivated by different interpretations of the original hypothesis, and analyze the scope over which the pressure towards uniformity is exerted. The explanatory power of a subset of the proposed operationalizations suggests that the strongest trend may be a regression towards a mean surprisal across the language, rather than the phrase, sentence, or document -- a finding that supports a typical interpretation of UID, namely that it is the byproduct of language users maximizing the use of a (hypothetical) communication channel.
• Abstract（参考訳）: 均一情報密度(UID)仮説は、情報を信号に均一に分散するように構造化された発話に対して、言語利用者の間での好みを示す。 言語生産への影響はよく研究されているが、この仮説は言語理解と言語受容性についても予測する可能性を秘めている。 さらに、言語信号における一様性(あるいはその欠如)がどの程度測定されるべきかは不明確であり、どの言語単位(例えば、文や言語レベル)でこの一様性を保持するべきかは定かではない。 本稿では,読解時間と受容性データを用いて,uid仮説のこれらの側面について検討する。 私たちの読書時間の結果は、概して以前の作業と一致していますが、uidの予測と互換性のある超線形効果であるsurprisalとも一致しています。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。 次に,元仮説の異なる解釈に動機づけられたuidの複数の操作を探索し,一様性に対する圧力が課される範囲を分析する。 提案手法のサブセットの説明力は、最も強い傾向は、句、文、文書ではなく、言語全体の平均超越への回帰であるかもしれないことを示唆している -- uidの典型的な解釈をサポートする発見、すなわち(仮説的な)コミュニケーションチャネルの使用を最大化する言語ユーザの副産物である。

関連論文リスト

• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• That's Optional: A Contemporary Exploration of "that" Omission in English Subordinate Clauses [2.1781981800541805]
  均一情報密度仮説は、話者が情報のスパイクを避けることによって発話のコミュニケーション特性を最適化することを示唆している。 本稿では,UIDの原則が統語的還元に与える影響について検討し,特に英語の従属節におけるコネクタ「 that」の省略点に着目した。
  論文  参考訳（メタデータ） (2024-05-31T14:23:30Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• A Cross-Linguistic Pressure for Uniform Information Density in Word Order [79.54362557462359]
  実数列が反実数列よりも大きな情報均一性をもたらすかどうかを計算モデルを用いて検証する。 SVO言語の中では、実語順は逆語順よりも一様である。 言語的に不可解な反実順序のみが、実際の順序の均一性を超えている。
  論文  参考訳（メタデータ） (2023-06-06T14:52:15Z)
• Revisiting Entropy Rate Constancy in Text [43.928576088761844]
  均一な情報密度仮説は、人間がほぼ均等に情報を発話や談話に分配する傾向があることを示している。 我々は、ニューラル言語モデルによるGenzel & Charniak(2002)の主張を再評価し、エントロピー速度の不安定性を支持する明確な証拠を見出すことに失敗した。
  論文  参考訳（メタデータ） (2023-05-20T03:48:31Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• A Cognitive Regularizer for Language Modeling [36.256053903862956]
  UIDを正規化として符号化することで、言語モデルをトレーニングするための標準MLEの目的を拡大する。 UID正規化の使用は言語モデルの難易度を一貫して改善する。 また、UID正規化言語モデルはエントロピーが高く、より長く、より語彙的に多様なテキストを生成する。
  論文  参考訳（メタデータ） (2021-05-15T05:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。