論文の概要: Evaluating Models of Robust Word Recognition with Serial Reproduction
- arxiv url: http://arxiv.org/abs/2101.09788v1
- Date: Sun, 24 Jan 2021 20:16:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-03-16 09:14:47.750662
- Title: Evaluating Models of Robust Word Recognition with Serial Reproduction
- Title（参考訳）: 連続再現による頑健な単語認識モデルの評価
- Authors: Stephan C. Meylan, Sathvik Nair, Thomas L. Griffiths
- Abstract要約: 広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。
先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
- 参考スコア（独自算出の注目度）: 8.17947290421835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spoken communication occurs in a "noisy channel" characterized by high levels
of environmental noise, variability within and between speakers, and lexical
and syntactic ambiguity. Given these properties of the received linguistic
input, robust spoken word recognition -- and language processing more generally
-- relies heavily on listeners' prior knowledge to evaluate whether candidate
interpretations of that input are more or less likely. Here we compare several
broad-coverage probabilistic generative language models in their ability to
capture human linguistic expectations. Serial reproduction, an experimental
paradigm where spoken utterances are reproduced by successive participants
similar to the children's game of "Telephone," is used to elicit a sample that
reflects the linguistic expectations of English-speaking adults. When we
evaluate a suite of probabilistic generative language models against the
yielded chains of utterances, we find that those models that make use of
abstract representations of preceding linguistic context (i.e., phrase
structure) best predict the changes made by people in the course of serial
reproduction. A logistic regression model predicting which words in an
utterance are most likely to be lost or changed in the course of spoken
transmission corroborates this result. We interpret these findings in light of
research highlighting the interaction of memory-based constraints and
representations in language processing.
- Abstract（参考訳）: 話し言葉のコミュニケーションは、高レベルの環境騒音、話者間の変動性、語彙的・構文的曖昧さを特徴とする「ノイズチャンネル」で起こる。
これらの言語入力の特性を踏まえると、頑健な音声単語認識と言語処理は、その入力の候補解釈が多かれ少なかれありそうにないかどうかを評価するために、聞き手の事前知識に大きく依存する。
ここでは、人間の言語の期待を捕捉する能力のいくつかの広いカバー確率生成言語モデルを比較します。
英語圏の成人の言語的期待を反映したサンプルを導き出すために,「テレフォン」という子供のゲームに似た連続した参加者によって発話を再現する実験パラダイムである。
発話の連鎖に対して確率的生成言語モデル群を評価すると、先行する言語文脈(句構造)の抽象的表現を利用するモデルが、連続的再生の過程で人によってなされる変化を最もよく予測していることが分かる。
発話中のどの単語が音声伝達の過程で失われるか、あるいは変更されるかを予測するロジスティック回帰モデルは、この結果を裏付ける。
言語処理におけるメモリに基づく制約と表現の相互作用を強調する研究に照らして,これらの知見を解釈する。
関連論文リスト
- Spatio-Temporal Graph Neural Networks for Infant Language Acquisition Prediction [0.0]
幼児・幼児向け言語習得モデルの構築と、時空間グラフ畳み込みネットワーク(STGCN)での活用
本稿では,子語彙獲得の予測に新たなアプローチを導入し,言語習得の過程で発生する言語関係の異なるタイプに対して,そのようなモデルの有効性を評価する。
論文 参考訳（メタデータ） (2025-03-18T15:21:27Z) - Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。
我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
論文 参考訳（メタデータ） (2024-12-23T10:23:47Z) - Can Language Models Learn to Listen? [96.01685069483025]
本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。
提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。
生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
論文 参考訳（メタデータ） (2023-08-21T17:59:02Z) - BabySLM: language-acquisition-friendly benchmark of self-supervised
spoken language models [56.93604813379634]
音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。
語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。
テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
論文 参考訳（メタデータ） (2023-06-02T12:54:38Z) - Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文 参考訳（メタデータ） (2023-05-17T23:55:32Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳（メタデータ） (2021-10-17T18:25:23Z) - The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。
その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。
この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文 参考訳（メタデータ） (2021-03-02T15:57:39Z) - Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。
提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文 参考訳（メタデータ） (2020-10-12T23:12:11Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。