論文の概要: Revealing emergent human-like conceptual representations from language prediction
- arxiv url: http://arxiv.org/abs/2501.12547v4
- Date: Sat, 08 Nov 2025 09:32:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 14:55:59.744758
- Title: Revealing emergent human-like conceptual representations from language prediction
- Title（参考訳）: 言語予測からの創発的人間的概念表現の探索
- Authors: Ningyu Xu, Qi Zhang, Chao Du, Qiang Luo, Xipeng Qiu, Xuanjing Huang, Menghan Zhang,
- Abstract要約: 大規模言語モデル(LLMs)は、人間らしい振る舞いを示すテキストの次のトーケン予測によってのみ訓練される。
これらのモデルでは、概念は人間のものと似ていますか?
LLMは、他の概念に関する文脈的手がかりに関連して、言語記述から柔軟に概念を導出できることがわかった。
- 参考スコア（独自算出の注目度）: 90.73285317321312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: People acquire concepts through rich physical and social experiences and use them to understand and navigate the world. In contrast, large language models (LLMs), trained solely through next-token prediction on text, exhibit strikingly human-like behaviors. Are these models developing concepts akin to those of humans? If so, how are such concepts represented, organized, and related to behavior? Here, we address these questions by investigating the representations formed by LLMs during an in-context concept inference task. We found that LLMs can flexibly derive concepts from linguistic descriptions in relation to contextual cues about other concepts. The derived representations converge toward a shared, context-independent structure, and alignment with this structure reliably predicts model performance across various understanding and reasoning tasks. Moreover, the convergent representations effectively capture human behavioral judgments and closely align with neural activity patterns in the human brain, providing evidence for biological plausibility. Together, these findings establish that structured, human-like conceptual representations can emerge purely from language prediction without real-world grounding, highlighting the role of conceptual structure in understanding intelligent behavior. More broadly, our work suggests that LLMs offer a tangible window into the nature of human concepts and lays the groundwork for advancing alignment between artificial and human intelligence.
- Abstract（参考訳）: 人々は、豊かな物理的および社会的経験を通して概念を取得し、世界を理解し、ナビゲートするためにそれらを使用する。
対照的に、大規模言語モデル(LLMs)は、テキスト上での次のトーケン予測によってのみ訓練され、目覚ましい人間的な振る舞いを示す。
これらのモデルでは、概念は人間のものと似ていますか?
もしそうなら、そのような概念はどのように表現され、組織化され、行動に関係するのか?
本稿では,LLMがコンテキスト内概念推論タスク中に生成した表現を調査することにより,これらの問題に対処する。
LLMは、他の概念に関する文脈的手がかりに関連して、言語記述から柔軟に概念を導出できることがわかった。
導出された表現は、共有された文脈に依存しない構造に収束し、この構造との整合性は、様々な理解と推論タスクにわたるモデル性能を確実に予測する。
さらに、収束表現は人間の行動判断を効果的に捉え、人間の脳の神経活動パターンと密に一致し、生物学的な妥当性を示す。
これらの知見は、構造化された人間のような概念表現が、現実世界の根拠のない言語予測から純粋に現れることを証明し、知的行動を理解する上での概念構造の役割を強調した。
より広範に、我々の研究は、LLMが人間の概念の本質に明確な窓を与え、人工知能と人間の知性の整合性を高めるための基礎となることを示唆している。
関連論文リスト
- From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning [52.32745233116143]
人間は知識をセマンティック圧縮によってコンパクトなカテゴリに分類する。
大規模言語モデル(LLM)は、顕著な言語能力を示す。
しかし、その内部表現が、圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかるかどうかは不明だ。
論文 参考訳（メタデータ） (2025-05-21T16:29:00Z) - Non-literal Understanding of Number Words by Language Models [33.24263583093367]
人間は自然に、文脈、世界知識、話者意図を組み合わせた、意味のない数字を解釈する。
大規模言語モデル (LLM) も同様に数字を解釈し, ハイパボラ効果と実効ハロ効果に着目した。
論文 参考訳（メタデータ） (2025-02-10T07:03:00Z) - Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
大規模言語モデルにおける対象概念の表現が人間とどのように関連しているかを明らかにするために,行動解析と神経画像解析を併用した。
その結果,66次元の埋め込みは非常に安定で予測的であり,人間の心的表現に類似したセマンティッククラスタリングが認められた。
本研究は、機械知能の理解を深め、より人間的な人工知能システムの開発を知らせるものである。
論文 参考訳（メタデータ） (2024-07-01T08:17:19Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳（メタデータ） (2024-01-11T05:05:01Z) - Divergences between Language Models and Human Brains [59.100552839650774]
我々は,人間と機械語処理の相違点を体系的に探求する。
我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。
以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
論文 参考訳（メタデータ） (2023-11-15T19:02:40Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Towards Concept-Aware Large Language Models [56.48016300758356]
概念は、学習、推論、コミュニケーションなど、様々な人間の認知機能において重要な役割を果たす。
概念を形作り、推論する能力を持つ機械を授けることは、ほとんどない。
本研究では,現代における大規模言語モデル(LLM)が,人間の概念とその構造をどのように捉えているかを分析する。
論文 参考訳（メタデータ） (2023-11-03T12:19:22Z) - Interpretability is in the Mind of the Beholder: A Causal Framework for
Human-interpretable Representation Learning [22.201878275784246]
説明可能なAIは、入力機能などの低レベル要素の観点から定義された説明から、データから学んだ解釈可能な概念でエンコードされた説明へとシフトしている。
しかし、そのような概念を確実に取得する方法は、基本的には不明確である。
ポストホックな説明器と概念に基づくニューラルネットワークの両方に適した解釈可能な表現を得るための数学的枠組みを提案する。
論文 参考訳（メタデータ） (2023-09-14T14:26:20Z) - The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling
Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。
本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。
我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
論文 参考訳（メタデータ） (2023-06-25T19:38:01Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2023-06-22T05:14:00Z) - On the Computation of Meaning, Language Models and Incomprehensible Horrors [0.0]
我々は、意味の基本理論を、人工知能(AGI)の数学的形式主義と統合する。
我々の発見は、意味と知性の関係と、意味を理解して意図する機械を構築する方法に光を当てた。
論文 参考訳（メタデータ） (2023-04-25T09:41:00Z) - Conceptual structure coheres in human cognition but not in large
language models [7.405352374343134]
概念構造は, 文化, 言語, 推定方法の違いに対して堅牢であることを示す。
結果は、現代の大言語モデルと人間の認知の間に重要な違いを浮き彫りにしている。
論文 参考訳（メタデータ） (2023-04-05T21:27:01Z) - Probing Neural Language Models for Human Tacit Assumptions [36.63841251126978]
人間はステレオタイプ的暗黙の仮定(STA)または一般的な概念についての命題的信念を持っている。
大規模テキストコーパスキャプチャSTAで訓練された最近のニューラルネットワーク言語モデルを評価するために,単語予測プロンプトの診断セットを構築した。
論文 参考訳（メタデータ） (2020-04-10T01:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。