論文の概要: Semantic Structure-Mapping in LLM and Human Analogical Reasoning

• arxiv url: http://arxiv.org/abs/2406.13803v1
• Date: Wed, 19 Jun 2024 20:07:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 18:25:37.992136
• Title: Semantic Structure-Mapping in LLM and Human Analogical Reasoning
• Title（参考訳）: LLMにおける意味構造マッピングとヒューマン・アナロジカル推論
• Authors: Sam Musker, Alex Duchnowski, Raphaël Millière, Ellie Pavlick,
• Abstract要約: アナロジカル推論は人間の学習と認知の中核であると考えられている。 近年の研究では、抽象的なシンボル操作タスクにおいて、人体の類似推論能力とLLM(Large Language Models)を比較している。 言語を非言語的領域にリンクする類似性を引き出す能力は、言語習得とより広範な認知発達において重要な役割を担っていると考えられている。
• 参考スコア（独自算出の注目度）: 14.412456982731467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analogical reasoning is considered core to human learning and cognition. Recent studies have compared the analogical reasoning abilities of human subjects and Large Language Models (LLMs) on abstract symbol manipulation tasks, such as letter string analogies. However, these studies largely neglect analogical reasoning over semantically meaningful symbols, such as natural language words. This ability to draw analogies that link language to non-linguistic domains, which we term semantic structure-mapping, is thought to play a crucial role in language acquisition and broader cognitive development. We test human subjects and LLMs on analogical reasoning tasks that require the transfer of semantic structure and content from one domain to another. Advanced LLMs match human performance across many task variations. However, humans and LLMs respond differently to certain task variations and semantic distractors. Overall, our data suggest that LLMs are approaching human-level performance on these important cognitive tasks, but are not yet entirely human like.
• Abstract（参考訳）: アナロジカル推論は人間の学習と認知の中核であると考えられている。 近年,文字文字列の類推のような抽象的な記号操作タスクにおいて,人体の類似推論能力とLarge Language Models(LLMs)を比較している。 しかし、これらの研究は、自然言語の単語のような意味論的意味のある記号に対する類推的推論をほとんど無視している。 言語を非言語的ドメインにリンクする類似性を引き出す能力は、意味構造マッピング(semantic structure-mapping)と呼ばれ、言語習得とより広範な認知発達において重要な役割を担っていると考えられている。 我々は,あるドメインから別のドメインへのセマンティック構造と内容の移動を必要とする類似推論タスクにおいて,被験者とLLMを試験する。 高度なLLMは、多くのタスクのバリエーションで人間のパフォーマンスにマッチする。 しかしながら、人間とLLMは特定のタスクのバリエーションや意味的障害に対して異なる反応をする。 我々のデータは、LLMがこれらの重要な認知タスクにおいて人間レベルのパフォーマンスに近づいていることを示唆しています。

関連論文リスト

• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Non-literal Understanding of Number Words by Language Models [33.24263583093367]
  人間は自然に、文脈、世界知識、話者意図を組み合わせた、意味のない数字を解釈する。 大規模言語モデル (LLM) も同様に数字を解釈し, ハイパボラ効果と実効ハロ効果に着目した。
  論文  参考訳（メタデータ） (2025-02-10T07:03:00Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大型言語モデル(LLM)における人間に似た概念表現の出現について検討した。 その結果、LLMは定義記述から概念を推論し、共有された文脈に依存しない構造に収束する表現空間を構築することができた。 我々の研究は、LLMが複雑な人間の認知を理解するための貴重なツールであり、人工知能と人間の知能の整合性を高めるための道を開くという見解を支持している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• The dynamics of meaning through time: Assessment of Large Language Models [2.5864824580604515]
  本研究では,様々な大規模言語モデル(LLM)が意味の時間的ダイナミクスを捉える能力を評価することを目的とする。 比較分析にはChatGPT、GPT-4、Claude、Bard、Gemini、Llamaといった著名なモデルが含まれています。 発見は、各モデルの歴史的文脈と意味的シフトの扱いにおいて顕著な違いを示し、時間的意味的理解における強みと制限の両方を強調した。
  論文  参考訳（メタデータ） (2025-01-09T19:56:44Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
  我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。 具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。 PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
  論文  参考訳（メタデータ） (2023-05-28T04:22:26Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative [7.03497683558609]
  Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。 我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。 以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-24T13:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。