論文の概要: Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

• arxiv url: http://arxiv.org/abs/2603.16574v1
• Date: Tue, 17 Mar 2026 14:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.336074
• Title: Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
• Title（参考訳）: 人間の文処理における変圧器の多様性予測:合意獲得効果の包括的分析
• Authors: Titus von der Malsburg, Sebastian Padó,
• Abstract要約: トランスフォーマーは、計算言語学において、ほとんどすべての最先端の言語モデルを満たす。 サブプライザルベースのリンク機構を用いて、異なるサイズとアーキテクチャの11個の自己回帰変換器を評価する。
• 参考スコア（独自算出の注目度）: 6.1335559884409685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers underlie almost all state-of-the-art language models in computational linguistics, yet their cognitive adequacy as models of human sentence processing remains disputed. In this work, we use a surprisal-based linking mechanism to systematically evaluate eleven autoregressive transformers of varying sizes and architectures on a more comprehensive set of English agreement attraction configurations than prior work. Our experiments yield mixed results: While transformer predictions generally align with human reading time data for prepositional phrase configurations, performance degrades significantly on object-extracted relative clause configurations. In the latter case, predictions also diverge markedly across models, and no model successfully replicates the asymmetric interference patterns observed in humans. We conclude that current transformer models do not explain human morphosyntactic processing, and that evaluations of transformers as cognitive models must adopt rigorous, comprehensive experimental designs to avoid spurious generalizations from isolated syntactic configurations or individual models.
• Abstract（参考訳）: トランスフォーマーは、計算言語学の最先端言語モデルをほとんどすべて持っているが、人間の文処理のモデルとしての認知的妥当性はいまだに議論の余地がある。 本研究では,先行作業よりも包括的な英語契約アトラクション構成のセットを用いて,様々なサイズやアーキテクチャの自己回帰変換器11種を体系的に評価する。 変圧器の予測は、前置詞句構成の人間の読解時間データと概ね一致しているが、性能はオブジェクト抽出された相対節構成で著しく低下する。 後者の場合、予測はモデル間で著しくばらつき、人間が観察する非対称な干渉パターンをうまく再現するモデルは存在しない。 現在のトランスモデルでは, 人間の形態合成処理を説明できないこと, 認知モデルとしてのトランスフォーマーの評価は, 孤立した構文構成や個別モデルからの急激な一般化を避けるために, 厳密で包括的な実験設計を採用する必要があることを結論付けた。

関連論文リスト

• Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly [9.45662351979314]
  近年の研究では,トランスフォーマーモデルによるパープレクシティと,読み出し時間に対する推定値の予測力の正の関係が観察されている。 本研究は,脳画像データに基づいて,3つの言語群にまたがる17の事前学習トランスフォーマーモデルから推定される推定値の予測力を評価する。
  論文  参考訳（メタデータ） (2025-06-12T22:18:48Z)
• Characterizing the Expressivity of Transformer Language Models [56.598551673153366]
  厳密な将来のマスキングとソフトアテンションを備えた固定精度変圧器の正確な特性について述べる。 これらのモデルは、線形時間論理の特定の断片と同じくらい正確に表現可能であることを示す。 さらに、この論理を形式言語理論、オートマトン理論、代数の確立されたクラスに関連付ける。
  論文  参考訳（メタデータ） (2025-05-29T16:30:30Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• BayesFormer: Transformer with Uncertainty Estimation [31.206243748162553]
  ベイズ理論によって設計されたドロップアウトを持つトランスフォーマーモデルBayesFormerを紹介する。 我々は,言語モデリングと分類,長文理解,機械翻訳,能動的学習のための獲得機能など,ボード全体の改良点を示す。
  論文  参考訳（メタデータ） (2022-06-02T01:54:58Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Pretrained Transformers as Universal Computation Engines [105.00539596788127]
  自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。 本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。 このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2021-03-09T06:39:56Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。