論文の概要: Expect the Unexpected? Testing the Surprisal of Salient Entities

• arxiv url: http://arxiv.org/abs/2604.10724v1
• Date: Sun, 12 Apr 2026 16:52:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.189543
• Title: Expect the Unexpected? Testing the Surprisal of Salient Entities
• Title（参考訳）: 予期せぬ存在を期待する
• Authors: Jessica Lin, Amir Zeldes,
• Abstract要約: 談話におけるエンティティの全体的なサリエンスと,70Kの注釈を手作業で用いたサプライサルとの関連について検討した。 以上の結果から,地球規模で有意な物質は,位置,長さ,営巣コンファウンドの制御さえも,非塩分物質よりもはるかに高い推定値を示すことが明らかとなった。 本研究は,グローバルなエンティティ・サリエンスを談話における情報分布を形成するメカニズムとして同定することで,UID競合圧力の枠組みを洗練させるものである。
• 参考スコア（独自算出の注目度）: 8.185354486103291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous work examining the Uniform Information Density (UID) hypothesis has shown that while information as measured by surprisal metrics is distributed more or less evenly across documents overall, local discrepancies can arise due to functional pressures corresponding to syntactic and discourse structural constraints. However, work thus far has largely disregarded the relative salience of discourse participants. We fill this gap by studying how overall salience of entities in discourse relates to surprisal using 70K manually annotated mentions across 16 genres of English and a novel minimal-pair prompting method. Our results show that globally salient entities exhibit significantly higher surprisal than non-salient ones, even controlling for position, length, and nesting confounds. Moreover, salient entities systematically reduce surprisal for surrounding content when used as prompts, enhancing document-level predictability. This effect varies by genre, appearing strongest in topic-coherent texts and weakest in conversational contexts. Our findings refine the UID competing pressures framework by identifying global entity salience as a mechanism shaping information distribution in discourse.
• Abstract（参考訳）: 従来,一様情報密度(UID)仮説を検証した結果,主測値によって測定された情報が文書全体にわたって多かれ少なかれ均等に分散されている一方で,局所的な不一致は,統語的・談話的構造制約に対応する機能的圧力によって生じることが示唆された。 しかし、これまでの研究は、談話参加者の相対的なサリエンスをほとんど無視してきた。 このギャップを埋めるには、英語の16分野にまたがる70Kの注釈付き言及と、新しいミニマルペアプロンプト手法を用いて、談話におけるエンティティの全体的なサリエンスとサブプライムとの関連について検討する。 以上の結果から,地球規模で有意な物質は,位置,長さ,営巣コンファウンドの制御さえも,非塩分物質よりもはるかに高い推定値を示すことが明らかとなった。 さらに、有能なエンティティは、プロンプトとして使用する場合、周囲のコンテンツに対する代償を体系的に低減し、文書レベルの予測可能性を高める。 この効果はジャンルによって異なり、トピックコヒーレントテキストでは最も強く、会話の文脈では最も弱い。 本研究は,グローバルなエンティティ・サリエンスを談話における情報分布を形成するメカニズムとして同定することで,UID競合圧力の枠組みを洗練させるものである。

関連論文リスト

• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Is Information Density Uniform when Utterances are Grounded on Perception and Discourse? [7.3258783042969675]
  視覚的に接地した環境での一様情報密度(UID)の計算的研究を行った。 知覚に基づく基礎づけは情報の分布を円滑にし、グローバルとローカルの両方の統一性を高めている。 本研究は,生態学的に妥当な多モーダル言語利用において,情報フローの時間的ダイナミクスをモデル化する第一歩を踏み出した。
  論文  参考訳（メタデータ） (2026-02-16T11:25:00Z)
• The Harmonic Structure of Information Contours [54.38365999922221]
  我々は、英語、スペイン語、ドイツ語、オランダ語、バスク語、ブラジルポルトガル語のテキストで、周期的な情報レートのパターンが一貫した証拠を見出した。 多くの支配的な周波数は談話構造と一致しており、これらの振動は意味のある言語組織を反映していることを示唆している。
  論文  参考訳（メタデータ） (2025-06-04T12:56:30Z)
• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• JoPA:Explaining Large Language Model's Generation via Joint Prompt Attribution [41.89180735617241]
  LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。 本稿では,JoPA(Joint Prompt Attribution, JoPA)に基づく実例説明フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:16:41Z)
• Revisiting the Uniform Information Density Hypothesis [44.277066511088634]
  読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
  論文  参考訳（メタデータ） (2021-09-23T20:41:47Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
  我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。 係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T17:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。