論文の概要: Do Large Language Models Mirror Cognitive Language Processing?
- arxiv url: http://arxiv.org/abs/2402.18023v1
- Date: Wed, 28 Feb 2024 03:38:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:23:25.339155
- Title: Do Large Language Models Mirror Cognitive Language Processing?
- Title(参考訳): 大規模言語モデルは認知言語処理をミラー化するか?
- Authors: Yuqi Ren, Renren Jin, Tongxuan Zhang, Deyi Xiong
- Abstract要約: 大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。
本研究では,LLM表現と人間の認知信号をブリッジして,LLMが認知言語処理をいかに効果的にシミュレートするかを評価する手法を提案する。
- 参考スコア(独自算出の注目度): 47.72734808139112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in
text comprehension and logical reasoning, achiving or even surpassing
human-level performance in numerous cognition tasks. As LLMs are trained from
massive textual outputs of human language cognition, it is natural to ask
whether LLMs mirror cognitive language processing. Or to what extend LLMs
resemble cognitive language processing? In this paper, we propose a novel
method that bridge between LLM representations and human cognition signals to
evaluate how effectively LLMs simulate cognitive language processing. We employ
Representational Similarity Analysis (RSA) to mearsure the alignment between 16
mainstream LLMs and fMRI signals of the brain. We empirically investigate the
impact of a variety of factors (e.g., model scaling, alignment training,
instruction appending) on such LLM-brain alignment. Experimental results
indicate that model scaling is positively correlated with LLM-brain similarity,
and alignment training can significantly improve LLM-brain similarity.
Additionally, the performance of a wide range of LLM evaluations (e.g., MMLU,
Chatbot Arena) is highly correlated with the LLM-brain similarity.
- Abstract(参考訳): 大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示し、多くの認知タスクにおいて人間レベルのパフォーマンスを達成または超えた。
LLMは、人間の言語認知の膨大なテキスト出力から訓練されているため、LLMが認知言語処理を反映しているかどうかを問うことは当然である。
あるいはllmを認知言語処理に拡張するのでしょうか?
本稿では,LLM表現と人間の認知信号をブリッジして,LLMが認知言語処理をいかに効果的にシミュレートするかを評価する手法を提案する。
我々はRepresentational similarity Analysis (RSA) を用いて16個の主要LDMとfMRI信号のアライメントを測定する。
様々な要因(モデルスケーリング、アライメントトレーニング、命令付加など)が、そのようなllm-脳アライメントに与える影響を実証的に検討する。
実験結果から,モデルスケーリングはLLM-脳類似性と正の相関を示し,アライメントトレーニングはLLM-脳類似性を大幅に改善することが示された。
さらに、幅広いLLM評価(例えばMMLU、Chatbot Arena)の性能は、LLM-Brain類似性と強く相関している。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - Contextual Feature Extraction Hierarchies Converge in Large Language
Models and the Brain [12.92793034617015]
大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。
また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
論文 参考訳(メタデータ) (2024-01-31T08:48:35Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。
我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。
テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
論文 参考訳(メタデータ) (2023-12-30T14:20:04Z) - Instruction-tuning Aligns LLMs to the Human Brain [20.86703074354748]
インストラクションチューニングにより、大きな言語モデルでは、自然言語クエリに対する人間の反応によく似た出力を生成することができる。
インストラクションチューニングが、人間の言語処理とよりよく似た大きな言語モデルを作るかどうかを考察する。
インストラクションチューニングにより、平均6%の脳アライメントが向上するが、行動アライメントにも同様の影響はない。
論文 参考訳(メタデータ) (2023-12-01T13:31:02Z) - Psychometric Predictive Power of Large Language Models [36.31945177731897]
言語モデルからの次の単語確率は、人間の読書行動のシミュレートに成功している。
命令調整型大規模言語モデル (LLM) は, 同等の難易度を持つベースLLMよりも, 人間の読影行動に対する心理測定予測力 (PPP) が劣ることを示す。
論文 参考訳(メタデータ) (2023-11-13T17:19:14Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in
Large Language Models [4.412336603162406]
大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。
本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
論文 参考訳(メタデータ) (2023-05-18T07:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。