論文の概要: Instruction-tuning Aligns LLMs to the Human Brain

• arxiv url: http://arxiv.org/abs/2312.00575v1
• Date: Fri, 1 Dec 2023 13:31:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 14:46:03.148878
• Title: Instruction-tuning Aligns LLMs to the Human Brain
• Title（参考訳）: インストラクションチューニングによるヒト脳へのLLMの適応
• Authors: Khai Loong Aw, Syrielle Montariol, Badr AlKhamissi, Martin Schrimpf, Antoine Bosselut
• Abstract要約: インストラクションチューニングにより、大きな言語モデルでは、自然言語クエリに対する人間の反応によく似た出力を生成することができる。 インストラクションチューニングが、人間の言語処理とよりよく似た大きな言語モデルを作るかどうかを考察する。 インストラクションチューニングにより、平均6%の脳アライメントが向上するが、行動アライメントにも同様の影響はない。
• 参考スコア（独自算出の注目度）: 20.86703074354748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-tuning is a widely adopted method of finetuning that enables large language models (LLMs) to generate output that more closely resembles human responses to natural language queries, in many cases leading to human-level performance on diverse testbeds. However, it remains unclear whether instruction-tuning truly makes LLMs more similar to how humans process language. We investigate the effect of instruction-tuning on LLM-human similarity in two ways: (1) brain alignment, the similarity of LLM internal representations to neural activity in the human language system, and (2) behavioral alignment, the similarity of LLM and human behavior on a reading task. We assess 25 vanilla and instruction-tuned LLMs across three datasets involving humans reading naturalistic stories and sentences. We discover that instruction-tuning generally enhances brain alignment by an average of 6%, but does not have a similar effect on behavioral alignment. To identify the factors underlying LLM-brain alignment, we compute correlations between the brain alignment of LLMs and various model properties, such as model size, various problem-solving abilities, and performance on tasks requiring world knowledge spanning various domains. Notably, we find a strong positive correlation between brain alignment and model size (r = 0.95), as well as performance on tasks requiring world knowledge (r = 0.81). Our results demonstrate that instruction-tuning LLMs improves both world knowledge representations and brain alignment, suggesting that mechanisms that encode world knowledge in LLMs also improve representational alignment to the human brain.
• Abstract（参考訳）: インストラクションチューニング(英: Instruction-tuning)は、大規模言語モデル(LLM)が自然言語クエリに対する人間の反応によく似た出力を生成するための、広く採用されている微調整手法である。 しかし、命令チューニングによって、LLMが人間の言語処理によく似ているかどうかは不明だ。 本研究は,(1)脳アライメント,(2)言語系におけるllm内部表現と神経活動との類似性,(2)行動アライメント,llmの類似性,および人間の行動が読書課題に及ぼす影響について検討した。 自然主義的な物語や文章を読むことを含む3つのデータセットにわたる25のバニラと指導用LLMを評価した。 命令の調整は脳のアライメントを平均6%向上させるが、行動のアライメントに類似した効果は認められない。 LLM-脳アライメントの背景となる要因を明らかにするため,LLMの脳アライメントとモデルサイズ,諸問題解決能力,諸領域にまたがる世界的知識を必要とするタスクの性能など,様々なモデル特性との相関関係を計算した。 特に、脳のアライメントとモデルサイズ(r = 0.95)と世界知識を必要とするタスク(r = 0.81)の間には、強い正の相関が認められた。 本研究は,LLMが世界知識表現と脳アライメントの両方を改善することを示し,LLMに世界知識をエンコードする機構が人間の脳への表現アライメントを改善することを示唆している。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Psychomatics -- A Multidisciplinary Framework for Understanding Artificial Minds [0.319565400223685]
  本稿では,認知科学,言語学,コンピュータ科学を橋渡しする心理学を紹介する。 LLMの高レベル機能をよりよく理解することを目的としている。 心理学は、言語の性質、認知、知性に関する変革的な洞察を与える可能性を秘めている。
  論文  参考訳（メタデータ） (2024-07-23T12:53:41Z)
• Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
  言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:16Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
  大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。 認知科学において、脳認知処理信号は典型的には人間の言語処理を研究するために使用される。 我々はRepresentational similarity Analysis (RSA) を用いて、23個の主要LDMとfMRI信号のアライメントを測定する。
  論文  参考訳（メタデータ） (2024-02-28T03:38:20Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。