論文の概要: Generative Emergent Communication: Large Language Model is a Collective World Model

• arxiv url: http://arxiv.org/abs/2501.00226v2
• Date: Wed, 16 Jul 2025 04:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 14:40:09.208976
• Title: Generative Emergent Communication: Large Language Model is a Collective World Model
• Title（参考訳）: 創発的コミュニケーション:大言語モデルは集合的世界モデルである
• Authors: Tadahiro Taniguchi, Ryo Ueda, Tomoaki Nakamura, Masahiro Suzuki, Akira Taniguchi,
• Abstract要約: LLM(Large Language Models)は、広範囲の世界の知識を捉える素晴らしい能力を示している。 本研究では,集合的世界モデル仮説を導入することによって,新たな理論解を提案する。
• 参考スコア（独自算出の注目度）: 11.224401802231707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated a remarkable ability to capture extensive world knowledge, yet how this is achieved without direct sensorimotor experience remains a fundamental puzzle. This study proposes a novel theoretical solution by introducing the Collective World Model hypothesis. We argue that an LLM does not learn a world model from scratch; instead, it learns a statistical approximation of a collective world model that is already implicitly encoded in human language through a society-wide process of embodied, interactive sense-making. To formalize this process, we introduce generative emergent communication (Generative EmCom), a framework built on the Collective Predictive Coding (CPC). This framework models the emergence of language as a process of decentralized Bayesian inference over the internal states of multiple agents. We argue that this process effectively creates an encoder-decoder structure at a societal scale: human society collectively encodes its grounded, internal representations into language, and an LLM subsequently decodes these symbols to reconstruct a latent space that mirrors the structure of the original collective representations. This perspective provides a principled, mathematical explanation for how LLMs acquire their capabilities. The main contributions of this paper are: 1) the formalization of the Generative EmCom framework, clarifying its connection to world models and multi-agent reinforcement learning, and 2) its application to interpret LLMs, explaining phenomena such as distributional semantics as a natural consequence of representation reconstruction. This work provides a unified theory that bridges individual cognitive development, collective language evolution, and the foundations of large-scale AI.
• Abstract（参考訳）: LLM(Large Language Models)は、広範囲の世界の知識をとらえる驚くべき能力を示しているが、直接の知覚的経験がなければ、これがどのように達成されるかは、依然として根本的なパズルである。 本研究では,集合的世界モデル仮説を導入することによって,新たな理論解を提案する。 LLMはスクラッチから世界モデルを学ぶのではなく、社会全体にわたる対話型センスメイキングのプロセスを通じて、すでに暗黙的に人間の言語でコード化されている集合世界モデルの統計的近似を学習する。 この過程を定式化するために,CPC(Collective Predictive Coding)上に構築されたフレームワークである生成創発的コミュニケーション(Generative EmCom)を導入する。 このフレームワークは、複数のエージェントの内部状態に対する分散ベイズ推論のプロセスとして、言語の出現をモデル化する。 我々は、このプロセスが、社会規模でエンコーダ・デコーダ構造を効果的に生成すると主張している。人間社会は、その基盤となる内部表現を言語に総括的にエンコードし、LLMはこれらのシンボルをデコードして、元の集合表現の構造を反映した潜在空間を再構築する。 この観点は、LLMがそれらの能力を取得する方法に関する、原則化された数学的説明を提供する。 本論文の主な貢献は次のとおりである。 1)世界モデルとマルチエージェント強化学習との関係を明確にしたジェネレーティブEmComフレームワークの形式化 2) LLMを解釈し, 分布意味論などの現象を表現再構成の自然な結果として説明する。 この研究は、個人の認知発達、集団言語進化、そして大規模なAIの基礎を橋渡しする統一された理論を提供する。

関連論文リスト

• Modeling Open-World Cognition as On-Demand Synthesis of Probabilistic Models [93.1043186636177]
  我々は、人々が分散表現と象徴表現の組み合わせを使って、新しい状況に合わせた見知らぬ精神モデルを構築するという仮説を探求する。 モデル合成アーキテクチャ」という概念の計算的実装を提案する。 我々は、新しい推論データセットに基づく人間の判断のモデルとして、MSAを評価した。
  論文  参考訳（メタデータ） (2025-07-16T18:01:03Z)
• Relation-R1: Cognitive Chain-of-Thought Guided Reinforcement Learning for Unified Relational Comprehension [12.563060744760651]
  リレーショナルR1は最初の統合リレーショナル理解フレームワークである。 認知連鎖(CoT)誘導監視細管(SFT)とグループ相対政策最適化(GRPO)を統合している。 広く使われているPSGデータセットとSWiGデータセットの実験により、リレーショナルR1はバイナリとtextitN-aryリレーショナル理解の両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2025-04-20T14:50:49Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
  大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。 本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。 私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
  論文  参考訳（メタデータ） (2025-03-27T12:50:17Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• A non-ergodic framework for understanding emergent capabilities in Large Language Models [0.5439020425819]
  大規模言語モデルには、予期せぬ規模で現れる創発的な能力がある。 スチュアート・カウフマン(Stuart Kauffman)の隣接可能な可能性(TAP)の理論に基づく数学的枠組みを提供し、能力の出現を説明する。
  論文  参考訳（メタデータ） (2025-01-03T05:11:41Z)
• Neurosymbolic Graph Enrichment for Grounded World Models [47.92947508449361]
  複雑な問題に対処するために, LLM の反応性を向上し, 活用するための新しいアプローチを提案する。 我々は,大規模言語モデルの強みと構造的意味表現を組み合わせた,多モーダルで知識を付加した意味の形式表現を作成する。 非構造化言語モデルと形式的意味構造とのギャップを埋めることで、自然言語理解と推論における複雑な問題に対処するための新たな道を開く。
  論文  参考訳（メタデータ） (2024-11-19T17:23:55Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Language Models as Semiotic Machines: Reconceptualizing AI Language Systems through Structuralist and Post-Structuralist Theories of Language [0.0]
  本稿では,大規模言語モデル(LLM)を理解するための新しいフレームワークを提案する。 LLMは言語自体のモデルとして理解されるべきであり、ジャックの「書き方」(l'ecriture)の概念と一致している、と私は主張する。 私は、Sausure の Saussure 批判を LLM でモデル化されたオブジェクトとして位置づけ、機械の 'mind' を統計的近似として提供します。
  論文  参考訳（メタデータ） (2024-10-16T21:45:54Z)
• Constructive Approach to Bidirectional Causation between Qualia Structure and Language Emergence [5.906966694759679]
  本稿では,言語出現と主観的経験の関連構造との双方向因果関係について考察する。 我々は、個人間の内部表現を整合させる過程を通じて、たとえば構文・意味構造のような分布意味を持つ言語が出現したかもしれないと仮定する。
  論文  参考訳（メタデータ） (2024-09-14T11:03:12Z)
• Interpretability of Language Models via Task Spaces [14.543168558734001]
  本稿では,解釈言語モデル (LM) の代替手法を提案する。 我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。 言語現象間の関係を照らす「言語的タスク空間」を構築した。
  論文  参考訳（メタデータ） (2024-06-10T16:34:30Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Formal Aspects of Language Modeling [74.16212987886013]
  大規模言語モデルは最も一般的なNLP発明の1つとなっている。 これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
  論文  参考訳（メタデータ） (2023-11-07T20:21:42Z)
• The Quo Vadis of the Relationship between Language and Large Language Models [3.10770247120758]
  LLM(Large Language Models)は、LLMを言語科学モデルとして採用することを奨励している。 透明性に欠ける科学的モデルの導入によって引き起こされる最も重要な理論的および経験的リスクを特定します。 現在の開発段階において、LLMは言語に関する説明をほとんど提供していないと結論付けている。
  論文  参考訳（メタデータ） (2023-10-17T10:54:24Z)
• The Empty Signifier Problem: Towards Clearer Paradigms for Operationalising "Alignment" in Large Language Models [18.16062736448993]
  本稿では,大規模言語モデル(LLM)における「アライメント」の概念を,ポスト構造主義社会政治理論のレンズを通して論じる。 1) モデル行動のどの次元が重要か,2) 意味と定義がこれらの次元にどのように分類されるか,といったことを議論する枠組みを提案する。 透明性と批判的評価の文化を育成し,LLMと人間集団の整合性の複雑さをコミュニティがナビゲートするのを支援することを目的としている。
  論文  参考訳（メタデータ） (2023-10-03T22:02:17Z)
• Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View [60.80731090755224]
  本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。 我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。 以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T15:05:52Z)
• Synergistic Integration of Large Language Models and Cognitive Architectures for Robust AI: An Exploratory Analysis [12.9222727028798]
  本稿では、知的行動を示す人工知能エージェントの開発に使用される2つのAIサブセクタの統合について考察する:大規模言語モデル(LLM)と認知アーキテクチャ(CA)である。 我々は3つの統合的アプローチを提案し、それぞれ理論モデルに基づいて、予備的な経験的証拠によって支持される。 これらのアプローチは、LSMとCAの長所を活用すると同時に、弱点を軽減し、より堅牢なAIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-08-18T21:42:47Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
  本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。 本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-11T07:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。