論文の概要: Estimating Surprisal from the Speech Signal

• arxiv url: http://arxiv.org/abs/2610.18439v1
• Date: Tue, 13 Oct 2026 14:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:21:17.757143
• Title: Estimating Surprisal from the Speech Signal
• Title（参考訳）: 音声信号からの素因推定
• Abstract要約: 本稿では,テキストから音声への合成モデルによって生成された現実化を極小化することで,抽象単位の確率を近似する重要サンプリング推定器を提案する。 重要度サンプリングによる推定は, 単語の具体的推測よりも, 瞳孔拡張を予測できることがわかった。 また,小語彙単位の予備値は瞳孔拡張の予測値であることがわかった。
• 参考スコア（独自算出の注目度）: 39.524151485504596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although language is predominantly spoken, empirical tests of surprisal theory rely almost entirely on written text. In practice, surprisal is estimated using language models (LMs) trained on text and applied to transcriptions, creating a text bottleneck that limits evaluation of the theory in the spoken modality. We remove this bottleneck by estimating surprisal directly from the speech signal using a speech LM. This raises a key question: should surprisal be defined over realization-specific acoustic inputs or over abstract linguistic units? Since a single unit can have many distinct acoustic realizations, each assigned a different probability by the model, defining surprisal over abstract units is difficult. To address this, we introduce an importance sampling estimator that approximates the probability of an abstract unit by marginalizing over realizations generated by a text-to-speech model. Using pupillometry data from a listening study, we evaluate surprisal theory in this text-free setting at multiple levels of granularity. Obtaining surprisal from several speech LMs, we consistently find that surprisal estimated via importance sampling better predicts pupil dilation than realization-specific surprisal for words. We also find that surprisal values for sub-lexical units are predictive of pupil dilation. While we find that surprisal can be estimated without recourse to text, and that marginalizing over distinct realizations of words is more predictive of lexical processing effort, surprisal as a whole is not a strong predictor of change in pupil size, regardless of its source.
• Abstract（参考訳）: 言語は主に話されているが、仮定理論の実証的なテストはほとんど完全に書かれたテキストに依存している。 実際に、仮定は、テキストで訓練され、文字に適用される言語モデル(LM)を用いて推定され、音声モーダルにおける理論の評価を制限するテキストボトルネックを生成する。 音声 LM を用いて音声信号から直接推定することで,このボトルネックを解消する。 これは重要な疑問を提起する: 素因は、実現固有の音響入力や抽象言語単位よりも定義すべきか? 1つの単位が多くの異なる音響的実現を達成できるため、それぞれがモデルによって異なる確率を割り当て、抽象単位に対する仮定を定義することは困難である。 そこで本研究では,テキストから音声への合成モデルによって生成された現実化を極小化することで,抽象単位の確率を近似する重要サンプリング推定器を提案する。 聴取実験から得られた瞳孔計測データを用いて,複数レベルの粒度でテキストフリー設定における仮定理論を評価する。 いくつかの音声 LM から推定値を得た結果、重要度サンプリングによる推定値が、単語の認識に特有の推定値よりも、瞳孔拡張を予測できることがわかった。 また,小語彙単位の予備値は瞳孔拡張の予測値であることがわかった。 単語の異なる実現に対する限界化は語彙処理の努力によってより予測できるが、全体としては、その情報源に関わらず、瞳孔の大きさの変化の強い予測にはならない。

関連論文リスト

• Revisiting the Estimation of Unigram Surprisal in Computational Psycholinguistics [43.25212630273854]
  文脈とユニグラムは、計算心理言語学における読書時間の標準的な予測因子である。 精神言語学研究におけるユニグラムの前提を推定するための3つの原則を提案する。
  論文  参考訳（メタデータ） (2026-10-13T13:54:29Z)
• From Exposure to Expectation: Frequency, Surprisal, and Language Across Development in Spanish [0.0]
  意外なことに、言語モデルの負の対数確率は、前回の文脈で与えられた単語に割り当て、成人の読書時間を確実に予測する。 本稿では,スペイン語のコーパスに基づく2つの研究について考察する。
  論文  参考訳（メタデータ） (2026-08-23T15:02:29Z)
• On the Role of Context in Reading Time Prediction [50.87306355705826]
  我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。 提案手法は,言語単位の処理作業が文脈内情報の内容のアフィン関数であることを示す素因的理論に基づいている。
  論文  参考訳（メタデータ） (2024-09-12T15:52:22Z)
• Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
  本研究では,11言語における副次的時間と読解時間の関係について検討する。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
  論文  参考訳（メタデータ） (2023-07-07T15:37:50Z)
• Investigating the Utility of Surprisal from Large Language Models for Speech Synthesis Prosody [4.081433571732691]
  本稿では,音声の韻律合成を支援する機能として,ある文脈における単語の予測可能性の尺度である単語代名詞の使用について検討する。 様々な大きさの英語テキストと大言語モデル(LLM)を用いて実験を行う。 語源と語長は適度に相関し,関連性はあるものの言語使用の異なる側面を捉えていることが示唆された。
  論文  参考訳（メタデータ） (2023-06-16T12:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。