論文の概要: Instruction-tuning Aligns LLMs to the Human Brain

• arxiv url: http://arxiv.org/abs/2312.00575v2
• Date: Fri, 9 Aug 2024 04:33:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 20:40:55.686476
• Title: Instruction-tuning Aligns LLMs to the Human Brain
• Title（参考訳）: インストラクションチューニングによるヒト脳へのLLMの適応
• Authors: Khai Loong Aw, Syrielle Montariol, Badr AlKhamissi, Martin Schrimpf, Antoine Bosselut,
• Abstract要約: 命令チューニングが大規模言語モデルと人間の言語処理機構の整合性に及ぼす影響について検討する。 インストラクションチューニングは一般に脳のアライメントを高めるが、行動アライメントに類似した影響はない。 LLMにおける世界知識を符号化するメカニズムは、人間の脳への表現的アライメントを改善することも示唆している。
• 参考スコア（独自算出の注目度）: 19.450164922129723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-tuning is a widely adopted finetuning method that enables large language models (LLMs) to generate output that more closely resembles human responses. However, no studies have shown that instruction-tuning actually teaches LLMs to process language in a similar manner as humans. We investigate the effect of instruction-tuning on aligning LLM and human language processing mechanisms in two ways: (1) brain alignment, the similarity of LLM internal representations to neural activity in the human language system, and (2) behavioral alignment, the similarity of LLM and human behavior on a reading task. We assess 25 vanilla and instruction-tuned LLMs on three datasets involving humans reading naturalistic stories and sentences, and find that instruction-tuning generally enhances brain alignment (~6%), but has no similar effect on behavioral alignment. To identify factors underlying this improvement in brain alignment, we compute correlations between brain alignment and various LLM properties, such as model size, problem-solving, and world knowledge understanding. Notably, we find a strong positive correlation between brain alignment and model size (r = 0.95), as well as performance on tasks requiring world knowledge (r = 0.81). Our results demonstrate that instruction-tuning LLMs improves both world knowledge representations and brain alignment, suggesting that the mechanisms that encode world knowledge in LLMs also improve representational alignment to the human brain.
• Abstract（参考訳）: インストラクションチューニング(英: Instruction-tuning)は、大規模言語モデル(LLM)が人間の反応によく似た出力を生成するための、広く採用されている微調整手法である。 しかしながら、命令チューニングが実際に人間と同じような方法で言語を処理することをLLMに教えているという研究はない。 本研究では,LLMと人間の言語処理機構の整合性に及ぼす指導訓練の効果について検討する。(1)脳のアライメント,LLMの内部表現の人間の言語系における神経活動との類似性,(2)行動アライメント,LLMの類似性,および人間の行動が読み上げ作業に与える影響について考察する。 自然主義的な物語や文を読む人間を含む3つのデータセットから25個のバニラと命令調整LDMを評価し、命令調整は一般に脳のアライメント(約6%)を増強するが、行動アライメントに類似した影響はないことを示した。 脳のアライメント改善の要因を明らかにするため,脳のアライメントとモデルサイズ,問題解決,世界知識理解といった様々なLLM特性の相関関係を計算した。 特に、脳のアライメントとモデルサイズ(r = 0.95)と世界知識を必要とするタスク(r = 0.81)の間には、強い正の相関が認められた。 本研究は,LLMが世界知識表現と脳アライメントの両方を改善することを示し,LLMに世界知識をエンコードする機構が人間の脳への表現アライメントを改善することを示唆している。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Psychomatics -- A Multidisciplinary Framework for Understanding Artificial Minds [0.319565400223685]
  本稿では,認知科学,言語学,コンピュータ科学を橋渡しする心理学を紹介する。 LLMの高レベル機能をよりよく理解することを目的としている。 心理学は、言語の性質、認知、知性に関する変革的な洞察を与える可能性を秘めている。
  論文  参考訳（メタデータ） (2024-07-23T12:53:41Z)
• Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
  言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:16Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
  大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。 認知科学において、脳認知処理信号は典型的には人間の言語処理を研究するために使用される。 我々はRepresentational similarity Analysis (RSA) を用いて、23個の主要LDMとfMRI信号のアライメントを測定する。
  論文  参考訳（メタデータ） (2024-02-28T03:38:20Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。