論文の概要: Instruction-tuning Aligns LLMs to the Human Brain
- arxiv url: http://arxiv.org/abs/2312.00575v1
- Date: Fri, 1 Dec 2023 13:31:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 14:46:03.148878
- Title: Instruction-tuning Aligns LLMs to the Human Brain
- Title(参考訳): インストラクションチューニングによるヒト脳へのLLMの適応
- Authors: Khai Loong Aw, Syrielle Montariol, Badr AlKhamissi, Martin Schrimpf,
Antoine Bosselut
- Abstract要約: インストラクションチューニングにより、大きな言語モデルでは、自然言語クエリに対する人間の反応によく似た出力を生成することができる。
インストラクションチューニングが、人間の言語処理とよりよく似た大きな言語モデルを作るかどうかを考察する。
インストラクションチューニングにより、平均6%の脳アライメントが向上するが、行動アライメントにも同様の影響はない。
- 参考スコア(独自算出の注目度): 20.86703074354748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction-tuning is a widely adopted method of finetuning that enables
large language models (LLMs) to generate output that more closely resembles
human responses to natural language queries, in many cases leading to
human-level performance on diverse testbeds. However, it remains unclear
whether instruction-tuning truly makes LLMs more similar to how humans process
language. We investigate the effect of instruction-tuning on LLM-human
similarity in two ways: (1) brain alignment, the similarity of LLM internal
representations to neural activity in the human language system, and (2)
behavioral alignment, the similarity of LLM and human behavior on a reading
task. We assess 25 vanilla and instruction-tuned LLMs across three datasets
involving humans reading naturalistic stories and sentences. We discover that
instruction-tuning generally enhances brain alignment by an average of 6%, but
does not have a similar effect on behavioral alignment. To identify the factors
underlying LLM-brain alignment, we compute correlations between the brain
alignment of LLMs and various model properties, such as model size, various
problem-solving abilities, and performance on tasks requiring world knowledge
spanning various domains. Notably, we find a strong positive correlation
between brain alignment and model size (r = 0.95), as well as performance on
tasks requiring world knowledge (r = 0.81). Our results demonstrate that
instruction-tuning LLMs improves both world knowledge representations and brain
alignment, suggesting that mechanisms that encode world knowledge in LLMs also
improve representational alignment to the human brain.
- Abstract(参考訳): インストラクションチューニング(英: Instruction-tuning)は、大規模言語モデル(LLM)が自然言語クエリに対する人間の反応によく似た出力を生成するための、広く採用されている微調整手法である。
しかし、命令チューニングによって、LLMが人間の言語処理によく似ているかどうかは不明だ。
本研究は,(1)脳アライメント,(2)言語系におけるllm内部表現と神経活動との類似性,(2)行動アライメント,llmの類似性,および人間の行動が読書課題に及ぼす影響について検討した。
自然主義的な物語や文章を読むことを含む3つのデータセットにわたる25のバニラと指導用LLMを評価した。
命令の調整は脳のアライメントを平均6%向上させるが、行動のアライメントに類似した効果は認められない。
LLM-脳アライメントの背景となる要因を明らかにするため,LLMの脳アライメントとモデルサイズ,諸問題解決能力,諸領域にまたがる世界的知識を必要とするタスクの性能など,様々なモデル特性との相関関係を計算した。
特に、脳のアライメントとモデルサイズ(r = 0.95)と世界知識を必要とするタスク(r = 0.81)の間には、強い正の相関が認められた。
本研究は,LLMが世界知識表現と脳アライメントの両方を改善することを示し,LLMに世界知識をエンコードする機構が人間の脳への表現アライメントを改善することを示唆している。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Do Large Language Models Mirror Cognitive Language Processing? [47.72734808139112]
大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。
本研究では,LLM表現と人間の認知信号をブリッジして,LLMが認知言語処理をいかに効果的にシミュレートするかを評価する手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T03:38:20Z) - Contextual Feature Extraction Hierarchies Converge in Large Language
Models and the Brain [12.92793034617015]
大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。
また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
論文 参考訳(メタデータ) (2024-01-31T08:48:35Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Divergences between Language Models and Human Brains [63.405788999891335]
最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。
我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。
我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
論文 参考訳(メタデータ) (2023-11-15T19:02:40Z) - Psychometric Predictive Power of Large Language Models [36.31945177731897]
言語モデルからの次の単語確率は、人間の読書行動のシミュレートに成功している。
命令調整型大規模言語モデル (LLM) は, 同等の難易度を持つベースLLMよりも, 人間の読影行動に対する心理測定予測力 (PPP) が劣ることを示す。
論文 参考訳(メタデータ) (2023-11-13T17:19:14Z) - Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in
Large Language Models [4.412336603162406]
大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。
本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
論文 参考訳(メタデータ) (2023-05-18T07:50:44Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。