論文の概要: Revisiting the Uniform Information Density Hypothesis
- arxiv url: http://arxiv.org/abs/2109.11635v1
- Date: Thu, 23 Sep 2021 20:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-27 14:16:56.210451
- Title: Revisiting the Uniform Information Density Hypothesis
- Title(参考訳): 一様情報密度仮説の再検討
- Authors: Clara Meister, Tiago Pimentel, Patrick Haller, Lena J\"ager, Ryan
Cotterell, Roger Levy
- Abstract要約: 読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。
受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
- 参考スコア(独自算出の注目度): 44.277066511088634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The uniform information density (UID) hypothesis posits a preference among
language users for utterances structured such that information is distributed
uniformly across a signal. While its implications on language production have
been well explored, the hypothesis potentially makes predictions about language
comprehension and linguistic acceptability as well. Further, it is unclear how
uniformity in a linguistic signal -- or lack thereof -- should be measured, and
over which linguistic unit, e.g., the sentence or language level, this
uniformity should hold. Here we investigate these facets of the UID hypothesis
using reading time and acceptability data. While our reading time results are
generally consistent with previous work, they are also consistent with a weakly
super-linear effect of surprisal, which would be compatible with UID's
predictions. For acceptability judgments, we find clearer evidence that
non-uniformity in information density is predictive of lower acceptability. We
then explore multiple operationalizations of UID, motivated by different
interpretations of the original hypothesis, and analyze the scope over which
the pressure towards uniformity is exerted. The explanatory power of a subset
of the proposed operationalizations suggests that the strongest trend may be a
regression towards a mean surprisal across the language, rather than the
phrase, sentence, or document -- a finding that supports a typical
interpretation of UID, namely that it is the byproduct of language users
maximizing the use of a (hypothetical) communication channel.
- Abstract(参考訳): 均一情報密度(UID)仮説は、情報を信号に均一に分散するように構造化された発話に対して、言語利用者の間での好みを示す。
言語生産への影響はよく研究されているが、この仮説は言語理解と言語受容性についても予測する可能性を秘めている。
さらに、言語信号における一様性(あるいはその欠如)がどの程度測定されるべきかは不明確であり、どの言語単位(例えば、文や言語レベル)でこの一様性を保持するべきかは定かではない。
本稿では,読解時間と受容性データを用いて,uid仮説のこれらの側面について検討する。
私たちの読書時間の結果は、概して以前の作業と一致していますが、uidの予測と互換性のある超線形効果であるsurprisalとも一致しています。
受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
次に,元仮説の異なる解釈に動機づけられたuidの複数の操作を探索し,一様性に対する圧力が課される範囲を分析する。
提案手法のサブセットの説明力は、最も強い傾向は、句、文、文書ではなく、言語全体の平均超越への回帰であるかもしれないことを示唆している -- uidの典型的な解釈をサポートする発見、すなわち(仮説的な)コミュニケーションチャネルの使用を最大化する言語ユーザの副産物である。
関連論文リスト
- Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - A Cross-Linguistic Pressure for Uniform Information Density in Word
Order [79.54362557462359]
実数列が反実数列よりも大きな情報均一性をもたらすかどうかを計算モデルを用いて検証する。
SVO言語の中では、実語順は逆語順よりも一様である。
言語的に不可解な反実順序のみが、実際の順序の均一性を超えている。
論文 参考訳(メタデータ) (2023-06-06T14:52:15Z) - Revisiting Entropy Rate Constancy in Text [43.928576088761844]
均一な情報密度仮説は、人間がほぼ均等に情報を発話や談話に分配する傾向があることを示している。
我々は、ニューラル言語モデルによるGenzel & Charniak(2002)の主張を再評価し、エントロピー速度の不安定性を支持する明確な証拠を見出すことに失敗した。
論文 参考訳(メタデータ) (2023-05-20T03:48:31Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳(メタデータ) (2022-05-08T08:37:36Z) - On the probability-quality paradox in language generation [76.69397802617064]
我々は情報理論レンズを用いて言語生成を分析する。
人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
論文 参考訳(メタデータ) (2022-03-31T17:43:53Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Does referent predictability affect the choice of referential form? A
computational approach using masked coreference resolution [10.73926355134268]
本稿では,参照予測可能性の新しい計算量を用いた参照表現のダイナミクスについて検討する。
モデル出力と参照形式の関係に関する統計的分析は、予測可能性が参照の形式に影響を与えるという仮説を支持する。
論文 参考訳(メタデータ) (2021-09-27T14:54:46Z) - A Cognitive Regularizer for Language Modeling [36.256053903862956]
UIDを正規化として符号化することで、言語モデルをトレーニングするための標準MLEの目的を拡大する。
UID正規化の使用は言語モデルの難易度を一貫して改善する。
また、UID正規化言語モデルはエントロピーが高く、より長く、より語彙的に多様なテキストを生成する。
論文 参考訳(メタデータ) (2021-05-15T05:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。