論文の概要: Spontaneous Speech Variables for Evaluating LLMs Cognitive Plausibility

• arxiv url: http://arxiv.org/abs/2505.16277v1
• Date: Thu, 22 May 2025 06:23:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.08107
• Title: Spontaneous Speech Variables for Evaluating LLMs Cognitive Plausibility
• Title（参考訳）: LLMの認知的可視性評価のための自然発声変数の検討
• Authors: Sheng-Fu Wang, Laurent Prevot, Jou-an Chi, Ri-Sheng Huang, Shu-Kai Hsieh,
• Abstract要約: 本稿では, 音声コーパスを用いて生成変数(音声の縮小, 韻律的優位性)を導出し, 同様の方法で適用することを提案する。 次に、これらの2つの変数を予測するために、異なる事前学習データセットの標準手順でトレーニングされたモデルをテストします。 以上の結果から,いくつかの微調整の後,モデルがこれらの生産変数をベースラインよりはるかに高い精度で予測できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.7061230262755125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The achievements of Large Language Models in Natural Language Processing, especially for high-resource languages, call for a better understanding of their characteristics from a cognitive perspective. Researchers have attempted to evaluate artificial models by testing their ability to predict behavioral (e.g., eye-tracking fixations) and physiological (e.g., brain responses) variables during language processing (e.g., reading/listening). In this paper, we propose using spontaneous speech corpora to derive production variables (speech reductions, prosodic prominences) and applying them in a similar fashion. More precisely, we extract. We then test models trained with a standard procedure on different pretraining datasets (written, spoken, and mixed genres) for their ability to predict these two variables. Our results show that, after some fine-tuning, the models can predict these production variables well above baselines. We also observe that spoken genre training data provides more accurate predictions than written genres. These results contribute to the broader effort of using high-quality speech corpora as benchmarks for LLMs.
• Abstract（参考訳）: 自然言語処理における大規模言語モデルの成果、特に高リソース言語については、認知の観点からそれらの特性をよりよく理解するよう呼びかけている。 研究者は、言語処理(例えば、読み書き)中の行動(例えば、視線追跡固定)と生理的(例えば、脳反応)変数を予測する能力をテストすることによって、人工モデルの評価を試みた。 本稿では,自然発声コーパスを用いて生成変数(音声の縮小,韻律的優位性)を導出し,同様の方法で適用することを提案する。 より正確には、抽出する。 次に、これらの2つの変数を予測するために、異なる事前学習データセット(書き、話、混合ジャンル)の標準手順でトレーニングされたモデルをテストする。 以上の結果から,いくつかの微調整の後,モデルがこれらの生産変数をベースラインよりはるかに高い精度で予測できることが示唆された。 また、音声ジャンルの学習データにより、文章のジャンルよりも正確な予測が可能になることも観察した。 これらの結果は,LLMのベンチマークとして高品質な音声コーパスを使用するという,より広範な取り組みに寄与する。

関連論文リスト

• Reverse-Engineering the Reader [43.26660964074272]
  本稿では,線形回帰器のパラメータを暗黙的に最適化するために,言語モデルを微調整する新しいアライメント手法を提案する。 単語をテストケースとして使用し、複数のモデルサイズとデータセットにわたる手法を評価する。 ダウンストリームNLPタスクにおける心理測定パワーとモデルの性能の逆関係と、ホールドアウトテストデータにおけるその難易度を見出した。
  論文  参考訳（メタデータ） (2024-10-16T23:05:01Z)
• Models of reference production: How do they withstand the test of time? [6.651864489482537]
  本研究では,文脈の参照表現を生成するタスクをケーススタディとして使用し,GRECから分析を開始する。 より現実的なデータセットでモデルを評価すれば、モデルのパフォーマンスはどうなるのか、私たちは尋ねます。 我々は、GRECは、人間の参照生産を模倣するモデルの能力に対する信頼性の高い評価を提供するものではないと結論付けている。
  論文  参考訳（メタデータ） (2023-07-27T12:46:38Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• What do Large Language Models Learn beyond Language? [10.9650651784511]
  事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-21T23:43:13Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Multilingual Language Models Predict Human Reading Behavior [8.830621849672108]
  言語固有および多言語事前学習トランスフォーマーモデルの性能比較を行い,読解時間尺度の予測を行った。 BERT と XLM のモデルでは,様々な視線追跡特性の予測に成功している。 一連の実験で、これらのモデルのクロスドメインおよびクロス言語能力を分析し、人間の文処理をどのように反映するかを示す。
  論文  参考訳（メタデータ） (2021-04-12T13:03:49Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。