論文の概要: Generative Emergent Communication: Large Language Model is a Collective World Model

• arxiv url: http://arxiv.org/abs/2501.00226v1
• Date: Tue, 31 Dec 2024 02:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:58.071798
• Title: Generative Emergent Communication: Large Language Model is a Collective World Model
• Title（参考訳）: 創発的コミュニケーション:大言語モデルは集合的世界モデルである
• Authors: Tadahiro Taniguchi, Ryo Ueda, Tomoaki Nakamura, Masahiro Suzuki, Akira Taniguchi,
• Abstract要約: 創発的創発的コミュニケーション(ジェネレーティブ・エムコム)は創発的コミュニケーション、世界モデル、および大言語モデル(LLM)を橋渡しする 提案フレームワークは,複数のエージェントにまたがる分散ベイズ推論により,言語とシンボルシステムの出現を定式化する。
• 参考スコア（独自算出の注目度）: 11.224401802231707
• License:
• Abstract: This study proposes a unifying theoretical framework called generative emergent communication (generative EmCom) that bridges emergent communication, world models, and large language models (LLMs) through the lens of collective predictive coding (CPC). The proposed framework formalizes the emergence of language and symbol systems through decentralized Bayesian inference across multiple agents, extending beyond conventional discriminative model-based approaches to emergent communication. This study makes the following two key contributions: First, we propose generative EmCom as a novel framework for understanding emergent communication, demonstrating how communication emergence in multi-agent reinforcement learning (MARL) can be derived from control as inference while clarifying its relationship to conventional discriminative approaches. Second, we propose a mathematical formulation showing the interpretation of LLMs as collective world models that integrate multiple agents' experiences through CPC. The framework provides a unified theoretical foundation for understanding how shared symbol systems emerge through collective predictive coding processes, bridging individual cognitive development and societal language evolution. Through mathematical formulations and discussion on prior works, we demonstrate how this framework explains fundamental aspects of language emergence and offers practical insights for understanding LLMs and developing sophisticated AI systems for improving human-AI interaction and multi-agent systems.
• Abstract（参考訳）: 本研究では,創発的なコミュニケーション,世界モデル,および大規模言語モデル(LLM)を,集団予測符号化(CPC)のレンズを通してブリッジする,生成的創発的コミュニケーション(生成的EmCom)と呼ばれる統一理論フレームワークを提案する。 提案フレームワークは,複数のエージェントにまたがる分散ベイズ推論により,言語と記号体系の出現を形式化し,従来の識別モデルに基づく創発的コミュニケーションのアプローチを越えている。 本研究は, 創発的コミュニケーションを理解するための新しい枠組みとして, 創発的EmComを提案し, 従来の差別的アプローチとの関係を明確にしつつ, 推論として制御から多エージェント強化学習(MARL)におけるコミュニケーションの出現をいかに引き出すかを示す。 第2に,複数のエージェントの経験をCPCで統合した集合世界モデルとしてLLMの解釈を示す数学的定式化を提案する。 このフレームワークは、共有シンボルシステムが集団的な予測的コーディングプロセスを通じてどのように出現するかを理解し、個人の認知発達と社会言語進化をブリッジする、統一された理論基盤を提供する。 先行研究の数学的定式化と議論を通じて、このフレームワークが言語発生の基本的な側面を説明し、LLMを理解し、人間-AIインタラクションとマルチエージェントシステムを改善するための高度なAIシステムを開発するための実践的な洞察を提供する。

関連論文リスト

• Neurosymbolic Graph Enrichment for Grounded World Models [47.92947508449361]
  複雑な問題に対処するために, LLM の反応性を向上し, 活用するための新しいアプローチを提案する。 我々は,大規模言語モデルの強みと構造的意味表現を組み合わせた,多モーダルで知識を付加した意味の形式表現を作成する。 非構造化言語モデルと形式的意味構造とのギャップを埋めることで、自然言語理解と推論における複雑な問題に対処するための新たな道を開く。
  論文  参考訳（メタデータ） (2024-11-19T17:23:55Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Constructive Approach to Bidirectional Causation between Qualia Structure and Language Emergence [5.906966694759679]
  本稿では,言語出現と主観的経験の関連構造との双方向因果関係について考察する。 我々は、個人間の内部表現を整合させる過程を通じて、たとえば構文・意味構造のような分布意味を持つ言語が出現したかもしれないと仮定する。
  論文  参考訳（メタデータ） (2024-09-14T11:03:12Z)
• Interpretability of Language Models via Task Spaces [14.543168558734001]
  本稿では,解釈言語モデル (LM) の代替手法を提案する。 我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。 言語現象間の関係を照らす「言語的タスク空間」を構築した。
  論文  参考訳（メタデータ） (2024-06-10T16:34:30Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Synergistic Integration of Large Language Models and Cognitive Architectures for Robust AI: An Exploratory Analysis [12.9222727028798]
  本稿では、知的行動を示す人工知能エージェントの開発に使用される2つのAIサブセクタの統合について考察する:大規模言語モデル(LLM)と認知アーキテクチャ(CA)である。 我々は3つの統合的アプローチを提案し、それぞれ理論モデルに基づいて、予備的な経験的証拠によって支持される。 これらのアプローチは、LSMとCAの長所を活用すると同時に、弱点を軽減し、より堅牢なAIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-08-18T21:42:47Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Learning to Ground Decentralized Multi-Agent Communication with Contrastive Learning [1.116812194101501]
  我々は,環境状態の異なる不完全な視点として,エージェント間で送信されるコミュニケーションメッセージに代替的な視点を導入する。 本稿では,与えられた軌跡のメッセージ間の相互情報を自己管理的に最大化することにより,共通言語の出現を誘導する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T12:41:32Z)
• Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
  本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。 本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-11T07:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。