論文の概要: From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought
- arxiv url: http://arxiv.org/abs/2306.12672v1
- Date: Thu, 22 Jun 2023 05:14:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 15:24:44.056005
- Title: From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought
- Title（参考訳）: 単語モデルから世界モデルへ:自然言語から思考の確率的言語への翻訳
- Authors: Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash
K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum
- Abstract要約: 言語インフォームド思考のための計算フレームワークであるテクスチャ意味構築を提案する。
我々は、自然言語からテキスト確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
我々はフレームワークを拡張し、認知的なモチベーションを持つ象徴的モジュールを統合し、言語から統一された常識的思考インターフェースを提供する。
- 参考スコア（独自算出の注目度）: 124.40905824051079
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does language inform our downstream thinking? In particular, how do
humans make meaning from language -- and how can we leverage a theory of
linguistic meaning to build machines that think in more human-like ways? In
this paper, we propose \textit{rational meaning construction}, a computational
framework for language-informed thinking that combines neural models of
language with probabilistic models for rational inference. We frame linguistic
meaning as a context-sensitive mapping from natural language into a
\textit{probabilistic language of thought} (PLoT) -- a general-purpose symbolic
substrate for probabilistic, generative world modeling. Our architecture
integrates two powerful computational tools that have not previously come
together: we model thinking with \textit{probabilistic programs}, an expressive
representation for flexible commonsense reasoning; and we model meaning
construction with \textit{large language models} (LLMs), which support
broad-coverage translation from natural language utterances to code expressions
in a probabilistic programming language. We illustrate our framework in action
through examples covering four core domains from cognitive science:
probabilistic reasoning, logical and relational reasoning, visual and physical
reasoning, and social reasoning about agents and their plans. In each, we show
that LLMs can generate context-sensitive translations that capture
pragmatically-appropriate linguistic meanings, while Bayesian inference with
the generated programs supports coherent and robust commonsense reasoning. We
extend our framework to integrate cognitively-motivated symbolic modules to
provide a unified commonsense thinking interface from language. Finally, we
explore how language can drive the construction of world models themselves.
- Abstract（参考訳）: 言語は下流の思考にどのように影響しますか?
特に、人間はどのようにして言語から意味を作るのか -- そして、より人間的な方法で考える機械を構築するために、言語的意味の理論をどのように活用できるのか?
本稿では,言語ニューラルモデルと有理推論の確率的モデルを組み合わせた言語インフォームド思考のための計算フレームワークである「textit{rational meaning construction」を提案する。
言語的意味を自然言語から思考の確率的言語(plot)への文脈に敏感なマッピングとして構成し、確率的、生成的世界モデリングのための汎用的シンボリック基盤とした。
私たちは、フレキシブルなコモンセンス推論のための表現型表現である \textit{probabilistic programs} で思考をモデル化し、また、確率的プログラミング言語において、自然言語発話からコード表現への広範囲な翻訳をサポートする \textit{large language models} (llms) で意味構築をモデル化します。
我々は認知科学の4つのコアドメイン(確率的推論、論理的および関係的推論、視覚的および物理的推論、エージェントとその計画に関する社会的推論)をカバーする例を通して、行動の枠組みを説明します。
各プログラムのベイジアン推論はコヒーレントでロバストなコモンセンス推論をサポートするのに対し,LLMは現実的に適切な言語的意味を捉えた文脈依存翻訳を生成する。
我々はフレームワークを拡張し、認知的なモチベーションを持つ象徴的モジュールを統合し、言語から統一された常識的思考インターフェースを提供する。
最後に,言語が世界モデルの構築をいかに進めるかを考察する。
関連論文リスト
- Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024) [16.282850445579857]
推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。
自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。
言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
論文 参考訳（メタデータ） (2024-10-07T02:31:47Z) - Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳（メタデータ） (2023-11-07T20:21:42Z) - Navigation with Large Language Models: Semantic Guesswork as a Heuristic
for Planning [73.0990339667978]
不慣れな環境でのナビゲーションは、ロボットにとって大きな課題となる。
言語モデルを用いて、新しい現実世界環境のバイアス探索を行う。
実環境におけるLFGの評価とシミュレーションベンチマークを行った。
論文 参考訳（メタデータ） (2023-10-16T06:21:06Z) - Large Language Models for Scientific Synthesis, Inference and
Explanation [56.41963802804953]
大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。
我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。
このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
論文 参考訳（メタデータ） (2023-10-12T02:17:59Z) - Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play
Multi-Character Belief Tracker [72.09076317574238]
ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。
ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
論文 参考訳（メタデータ） (2023-06-01T17:24:35Z) - Language Models are Bounded Pragmatic Speakers: Understanding RLHF from
a Bayesian Cognitive Modeling Perspective [2.8282906214258805]
本稿では,有界プラグマティック話者と呼ばれる確率論的認知モデルを定式化する。
人間のフィードバックからの強化学習によって微調整された大きな言語モデルは、高速でスローなモデルに似た思考モデルを具現化していることを示す。
論文 参考訳（メタデータ） (2023-05-28T16:04:48Z) - On the Computation of Meaning, Language Models and Incomprehensible Horrors [0.0]
我々は、意味の基本理論を、人工知能(AGI)の数学的形式主義と統合する。
我々の発見は、意味と知性の関係と、意味を理解して意図する機械を構築する方法に光を当てた。
論文 参考訳（メタデータ） (2023-04-25T09:41:00Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - Language Models are not Models of Language [0.0]
トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。
深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
論文 参考訳（メタデータ） (2021-12-13T22:39:46Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳（メタデータ） (2020-11-22T17:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。