論文の概要: From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought
- arxiv url: http://arxiv.org/abs/2306.12672v2
- Date: Fri, 23 Jun 2023 06:05:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 10:13:14.559484
- Title: From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought
- Title（参考訳）: 単語モデルから世界モデルへ:自然言語から思考の確率的言語への翻訳
- Authors: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash
K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum
- Abstract要約: 言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
- 参考スコア（独自算出の注目度）: 124.40905824051079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does language inform our downstream thinking? In particular, how do
humans make meaning from language--and how can we leverage a theory of
linguistic meaning to build machines that think in more human-like ways? In
this paper, we propose rational meaning construction, a computational framework
for language-informed thinking that combines neural language models with
probabilistic models for rational inference. We frame linguistic meaning as a
context-sensitive mapping from natural language into a probabilistic language
of thought (PLoT)--a general-purpose symbolic substrate for generative world
modeling. Our architecture integrates two computational tools that have not
previously come together: we model thinking with probabilistic programs, an
expressive representation for commonsense reasoning; and we model meaning
construction with large language models (LLMs), which support broad-coverage
translation from natural language utterances to code expressions in a
probabilistic programming language. We illustrate our framework through
examples covering four core domains from cognitive science: probabilistic
reasoning, logical and relational reasoning, visual and physical reasoning, and
social reasoning. In each, we show that LLMs can generate context-sensitive
translations that capture pragmatically-appropriate linguistic meanings, while
Bayesian inference with the generated programs supports coherent and robust
commonsense reasoning. We extend our framework to integrate
cognitively-motivated symbolic modules (physics simulators, graphics engines,
and planning algorithms) to provide a unified commonsense thinking interface
from language. Finally, we explore how language can drive the construction of
world models themselves. We hope this work will provide a roadmap towards
cognitive models and AI systems that synthesize the insights of both modern and
classical computational perspectives.
- Abstract（参考訳）: 言語は下流の思考にどのように影響しますか?
特に、人間はどのようにして言語から意味を作るのか?そして、より人間的な方法で考える機械を構築するために、言語的意味の理論をどのように活用できるのか?
本稿では、ニューラルネットワークモデルと有理推論の確率論的モデルを組み合わせた言語インフォームド思考のための計算フレームワーク、有理意味構築を提案する。
我々は、自然言語から確率的思考言語(PLoT)への文脈感応的なマッピングとして、言語の意味を定式化した。
我々は、確率的プログラムによる思考、コモンセンス推論のための表現表現、そして、自然言語の発話から確率的プログラミング言語におけるコード表現への広範な包括的翻訳をサポートする大規模言語モデル(LLM)による構築をモデル化する。
認知科学の4つの中核領域、確率論的推論、論理的推論、論理的推論、視覚的および物理的推論、社会的推論の例を通して、我々の枠組みを説明する。
各プログラムのベイジアン推論はコヒーレントでロバストなコモンセンス推論をサポートするのに対し,LLMは現実的に適切な言語的意味を捉えた文脈依存翻訳を生成する。
認知に動機づけられた記号モジュール(物理シミュレーター、グラフィックスエンジン、計画アルゴリズム)を統合し、言語から統一された常識的思考インターフェースを提供する。
最後に,言語が世界モデルの構築をいかに進めるかを考察する。
この研究が認知モデルとAIシステムへのロードマップを提供し、近代的および古典的な計算的視点の両方の洞察を合成することを期待しています。
関連論文リスト
- Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024) [16.282850445579857]
推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。
自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。
言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
論文 参考訳（メタデータ） (2024-10-07T02:31:47Z) - Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳（メタデータ） (2023-11-07T20:21:42Z) - Navigation with Large Language Models: Semantic Guesswork as a Heuristic
for Planning [73.0990339667978]
不慣れな環境でのナビゲーションは、ロボットにとって大きな課題となる。
言語モデルを用いて、新しい現実世界環境のバイアス探索を行う。
実環境におけるLFGの評価とシミュレーションベンチマークを行った。
論文 参考訳（メタデータ） (2023-10-16T06:21:06Z) - Large Language Models for Scientific Synthesis, Inference and
Explanation [56.41963802804953]
大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。
我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。
このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
論文 参考訳（メタデータ） (2023-10-12T02:17:59Z) - Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play
Multi-Character Belief Tracker [72.09076317574238]
ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。
ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
論文 参考訳（メタデータ） (2023-06-01T17:24:35Z) - Language Models are Bounded Pragmatic Speakers: Understanding RLHF from
a Bayesian Cognitive Modeling Perspective [2.8282906214258805]
本稿では,有界プラグマティック話者と呼ばれる確率論的認知モデルを定式化する。
人間のフィードバックからの強化学習によって微調整された大きな言語モデルは、高速でスローなモデルに似た思考モデルを具現化していることを示す。
論文 参考訳（メタデータ） (2023-05-28T16:04:48Z) - On the Computation of Meaning, Language Models and Incomprehensible Horrors [0.0]
我々は、意味の基本理論を、人工知能(AGI)の数学的形式主義と統合する。
我々の発見は、意味と知性の関係と、意味を理解して意図する機械を構築する方法に光を当てた。
論文 参考訳（メタデータ） (2023-04-25T09:41:00Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - Language Models are not Models of Language [0.0]
トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。
深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
論文 参考訳（メタデータ） (2021-12-13T22:39:46Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳（メタデータ） (2020-11-22T17:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。