論文の概要: Large Language Models Are Human-Like Internally

• arxiv url: http://arxiv.org/abs/2502.01615v1
• Date: Mon, 03 Feb 2025 18:48:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:14.533325
• Title: Large Language Models Are Human-Like Internally
• Title（参考訳）: 大きな言語モデルは内部的に人間に似ている
• Authors: Tatsuki Kuribayashi, Yohei Oseki, Souhaib Ben Taieb, Kentaro Inui, Timothy Baldwin,
• Abstract要約: 近年の認知モデル研究は、より大きな言語モデル(LM)が人間の読書行動に適合していないことを報告している。 従来の結論は、LMの最終層に排他的に焦点を絞ったものであったと論じる。 解析の結果,より大きなLMの内部層から派生した次の単語確率は,人間の文処理データと一致していることがわかった。
• 参考スコア（独自算出の注目度）: 44.996518290660816
• License:
• Abstract: Recent cognitive modeling studies have reported that larger language models (LMs) exhibit a poorer fit to human reading behavior, leading to claims of their cognitive implausibility. In this paper, we revisit this argument through the lens of mechanistic interpretability and argue that prior conclusions were skewed by an exclusive focus on the final layers of LMs. Our analysis reveals that next-word probabilities derived from internal layers of larger LMs align with human sentence processing data as well as, or better than, those from smaller LMs. This alignment holds consistently across behavioral (self-paced reading times, gaze durations, MAZE task processing times) and neurophysiological (N400 brain potentials) measures, challenging earlier mixed results and suggesting that the cognitive plausibility of larger LMs has been underestimated. Furthermore, we first identify an intriguing relationship between LM layers and human measures: earlier layers correspond more closely with fast gaze durations, while later layers better align with relatively slower signals such as N400 potentials and MAZE processing times. Our work opens new avenues for interdisciplinary research at the intersection of mechanistic interpretability and cognitive modeling.
• Abstract（参考訳）: 近年の認知モデル研究では、より大きな言語モデル(LM)が人間の読書行動に適さないことが報告されており、認知的不明瞭さの主張につながっている。 本稿では、機械論的解釈可能性のレンズを通してこの議論を再考し、従来の結論は、LMの最終層に排他的な焦点をあてることによって歪められたと論じる。 解析の結果,より大きなLMの内部層から派生した次の単語確率は,人間の文処理データと一致していることがわかった。 このアライメントは、行動的(自己ペースの読み取り時間、視線持続時間、MAZEタスク処理時間)と神経生理学的(N400脳電位)の測定を一貫して行い、初期の混合結果に挑戦し、より大きなLMの認知的妥当性が過小評価されていることを示唆している。 さらに、まず、LM層と人間の測度との間の興味深い関係を同定する: 初期の層はより高速な視線時間に対応し、後の層はN400電位やMAZE処理時間などの比較的遅い信号とよりよく一致する。 本研究は,機械的解釈可能性と認知モデリングの交差する分野における学際研究のための新たな道を開く。

関連論文リスト

• MVICAD2: Multi-View Independent Component Analysis with Delays and Dilations [61.59658203704757]
  本稿では,時間的遅延と拡張の両面において,被験者間でソースを異にするMVICAD(Multi-View Independent Component Analysis with Delays and Dilations)を提案する。 本稿では, 正則化と最適化手法を用いて, 性能向上を図るため, 正則化と最適化手法を用いて, その可能性の近似を導出する。
  論文  参考訳（メタデータ） (2025-01-13T15:47:02Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
  言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:16Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Large GPT-like Models are Bad Babies: A Closer Look at the Relationship between Linguistic Competence and Psycholinguistic Measures [25.210837736795565]
  我々は、BabyLM事前学習コーパスの厳密なバージョンに基づいて、異なるサイズのGPTライクな言語モデルを訓練する。 これら3つの課題に対して,各課題におけるモデルの幅と深さの相違により,LMサイズと性能の正の相関が認められた。 このことは、モデリング処理の努力と言語能力は、発達可能なコーパス上でのGPTライクなLMのトレーニングとは異なるアプローチを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2023-11-08T09:26:27Z)
• Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
  大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
  論文  参考訳（メタデータ） (2023-10-08T16:16:21Z)
• Unveiling Theory of Mind in Large Language Models: A Parallel to Single Neurons in the Human Brain [2.5350521110810056]
  大きな言語モデル(LLM)は、あるレベルの心の理論(ToM)を示すことが発見されている。 LLMのToMの能力や人間との類似性に基づく正確なプロセスはほとんど不明である。
  論文  参考訳（メタデータ） (2023-09-04T15:26:15Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。