論文の概要: Human-like object concept representations emerge naturally in multimodal large language models

• arxiv url: http://arxiv.org/abs/2407.01067v2
• Date: Tue, 10 Jun 2025 06:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:38.562533
• Title: Human-like object concept representations emerge naturally in multimodal large language models
• Title（参考訳）: マルチモーダル大言語モデルに自然に現れる人間のような物体概念表現
• Authors: Changde Du, Kaicheng Fu, Bincheng Wen, Yi Sun, Jie Peng, Wei Wei, Ying Gao, Shengpei Wang, Chuncheng Zhang, Jinpeng Li, Shuang Qiu, Le Chang, Huiguang He,
• Abstract要約: 大規模言語モデル(LLM)における対象概念表現と人間の認知との関係を考察するために,行動解析と神経画像解析を併用した。 我々の発見は、マシンインテリジェンスに対する理解を深め、より人間的な人工知能システムの開発に報いる。
• 参考スコア（独自算出の注目度）: 24.003766123531545
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Understanding how humans conceptualize and categorize natural objects offers critical insights into perception and cognition. With the advent of Large Language Models (LLMs), a key question arises: can these models develop human-like object representations from linguistic and multimodal data? In this study, we combined behavioral and neuroimaging analyses to explore the relationship between object concept representations in LLMs and human cognition. We collected 4.7 million triplet judgments from LLMs and Multimodal LLMs (MLLMs) to derive low-dimensional embeddings that capture the similarity structure of 1,854 natural objects. The resulting 66-dimensional embeddings were stable, predictive, and exhibited semantic clustering similar to human mental representations. Remarkably, the dimensions underlying these embeddings were interpretable, suggesting that LLMs and MLLMs develop human-like conceptual representations of objects. Further analysis showed strong alignment between model embeddings and neural activity patterns in brain regions such as EBA, PPA, RSC, and FFA. This provides compelling evidence that the object representations in LLMs, while not identical to human ones, share fundamental similarities that reflect key aspects of human conceptual knowledge. Our findings advance the understanding of machine intelligence and inform the development of more human-like artificial cognitive systems.
• Abstract（参考訳）: 人間がどのように自然の物体を概念化し、分類するかを理解することは、知覚と認知に重要な洞察を与える。 LLM(Large Language Models)の出現により、重要な疑問が生じる: これらのモデルは言語およびマルチモーダルデータから人間のようなオブジェクト表現を開発することができるか? 本研究では,LLMにおける物体概念表現と人間の認知との関連性を探るため,行動解析と神経画像解析を併用した。 我々はLLMとMultimodal LLM(MLLM)から470万の3重項判定を収集し,1,854個の自然物体の類似性構造を捉えた低次元埋め込みを導出した。 その結果、66次元の埋め込みは安定し、予測され、人間の心的表現に類似したセマンティッククラスタリングが示された。 注目すべきは、これらの埋め込みの基礎となる次元は解釈可能であり、LLMとMLLMは、オブジェクトの人間的な概念表現を発達させることである。 EBA, PPA, RSC, FFAなどの脳領域におけるモデル埋め込みと神経活動パターンの間には強い相関関係が認められた。 これは、LLMのオブジェクト表現が人間と同一ではないが、人間の概念的知識の重要な側面を反映した基本的な類似性を共有しているという説得力のある証拠を提供する。 我々の発見は、マシンインテリジェンスに対する理解を深め、より人間的な人工知能システムの開発に報いる。

関連論文リスト

• Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
  大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。 現在のLSMは、人間に対する信頼の欠如を示す。 本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T06:22:19Z)
• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Large language models for artificial general intelligence (AGI): A survey of foundational principles and approaches [0.0]
  MLLM(Multimodal large language model)は、多種多様なデータソースから学習する。 この驚くべき偉業にもかかわらず、大規模なデータセットで訓練された最先端のLLMの認知能力は、まだ表面的で不安定だ。 本稿では, エンボディメント, シンボル接地, 因果性, 記憶の原理を, 有機的手法で人工知能(AGI)の達成に活用する方法について論じる。
  論文  参考訳（メタデータ） (2025-01-06T17:18:47Z)
• Humanlike Cognitive Patterns as Emergent Phenomena in Large Language Models [2.9312156642007294]
  我々は、意思決定バイアス、推論、創造性の3つの重要な認知領域にわたって、大規模言語モデルの能力を体系的にレビューする。 意思決定では、LSMはいくつかの人間のようなバイアスを示すが、人間の観察するバイアスは欠落している。 GPT-4のような先進的なLCMは、人間のシステム2思考に似た熟考的推論を示し、小さなモデルは人間レベルの性能に欠ける。 LLMはストーリーテリングのような言語ベースの創造的なタスクに優れているが、現実の文脈を必要とする散発的な思考タスクに苦労する。
  論文  参考訳（メタデータ） (2024-12-20T02:26:56Z)
• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Human Simulacra: Benchmarking the Personification of Large Language Models [38.21708264569801]
  大規模言語モデル(LLM)は、人間の知性の側面を忠実に模倣するシステムとして認識されている。 本稿では,仮想キャラクタのライフストーリーをゼロから構築するためのフレームワークを提案する。 実験により, 構築したシミュラクラは, 対象キャラクタと一致した擬人化応答を生成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-28T09:11:14Z)
• Large language models as linguistic simulators and cognitive models in human research [0.0]
  人間のようなテキストを生成する大きな言語モデル(LLM)の台頭は、行動や認知研究における人間の参加者を置き換える可能性についての議論を巻き起こした。 心理学・社会科学における言語モデルの基本的有用性を評価するために,この代替視点を批判的に評価する。 この視点は、行動科学と認知科学における言語モデルの役割を再定義し、言語シミュレータや認知モデルとして機能し、マシンインテリジェンスと人間の認知と思考の類似点と相違点に光を当てている。
  論文  参考訳（メタデータ） (2024-02-06T23:28:23Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Unveiling Theory of Mind in Large Language Models: A Parallel to Single Neurons in the Human Brain [2.5350521110810056]
  大きな言語モデル(LLM)は、あるレベルの心の理論(ToM)を示すことが発見されている。 LLMのToMの能力や人間との類似性に基づく正確なプロセスはほとんど不明である。
  論文  参考訳（メタデータ） (2023-09-04T15:26:15Z)
• Conceptual structure coheres in human cognition but not in large language models [7.405352374343134]
  概念構造は, 文化, 言語, 推定方法の違いに対して堅牢であることを示す。 結果は、現代の大言語モデルと人間の認知の間に重要な違いを浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-04-05T21:27:01Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。