論文の概要: Natural Language Syntax Complies with the Free-Energy Principle
- arxiv url: http://arxiv.org/abs/2210.15098v1
- Date: Thu, 27 Oct 2022 00:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 13:55:29.555803
- Title: Natural Language Syntax Complies with the Free-Energy Principle
- Title（参考訳）: 自然言語構文は自由エネルギー原理に準拠する
- Authors: Elliot Murphy, Emma Holmes, Karl Friston
- Abstract要約: 我々は、最近提案された言語設計における経済原理が自由エネルギー原則(FEP)に準拠していることを議論する。
木幾何学的深さとコルモゴロフ複雑性推定の両方を用いて、構文的ワークスペース上の法的な操作を正確に予測できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Natural language syntax yields an unbounded array of hierarchically
structured expressions. We claim that these are used in the service of active
inference in accord with the free-energy principle (FEP). While conceptual
advances alongside modelling and simulation work have attempted to connect
speech segmentation and linguistic communication with the FEP, we extend this
program to the underlying computations responsible for generating syntactic
objects. We argue that recently proposed principles of economy in language
design - such as "minimal search" criteria from theoretical syntax - adhere to
the FEP. This affords a greater degree of explanatory power to the FEP - with
respect to higher language functions - and offers linguistics a grounding in
first principles with respect to computability. We show how both tree-geometric
depth and a Kolmogorov complexity estimate (recruiting a Lempel-Ziv compression
algorithm) can be used to accurately predict legal operations on syntactic
workspaces, directly in line with formulations of variational free energy
minimization. This is used to motivate a general principle of language design
that we term Turing-Chomsky Compression (TCC). We use TCC to align concerns of
linguists with the normative account of self-organization furnished by the FEP,
by marshalling evidence from theoretical linguistics and psycholinguistics to
ground core principles of efficient syntactic computation within active
inference.
- Abstract（参考訳）: 自然言語構文は階層的に構造化された表現の非有界配列を生成する。
我々は、これらは、自由エネルギー原理(FEP)に従って、アクティブ推論のサービスに使用されると主張している。
モデリングやシミュレーションとともに概念的な進歩が音声のセグメンテーションと言語コミュニケーションをfepと結びつけようと試みているが、このプログラムは構文オブジェクトを生成する基礎となる計算に拡張されている。
我々は、最近提案された言語設計における経済の原則、例えば理論構文からの「最小探索」基準は、FEPに準拠していると主張している。
このことは、より高い言語機能に関して、FEPにより大きな説明力を与え、計算可能性に関して第一原理を基礎づける言語学を提供する。
木幾何学的深度とKolmogorov複雑性推定(Lempel-Ziv圧縮アルゴリズムの検索)の両方を用いて、変動自由エネルギー最小化の定式化と直接的に、構文的ワークスペース上の法的操作を正確に予測できることを示す。
これは、チューリング・チョムスキー圧縮(TCC)と呼ばれる言語設計の一般的な原則の動機付けに使用される。
我々は、理論言語学と精神言語学の証拠を、能動推論における効率的な構文計算の根本原理にマーシャリングすることで、言語学者の懸念をFEPによって提供される自己組織化の規範的説明と整合させるためにTCCを使用している。
関連論文リスト
- Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning [1.3003982724617653]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、一貫性のない推論に苦戦している。
本研究では,LLM出力の信頼性と透明性を高めるフレームワークであるProof of Thoughtを紹介する。
主な貢献は、論理的整合性を高めるためのソート管理を備えた堅牢な型システム、事実的知識と推論的知識を明確に区別するための規則の明示である。
論文 参考訳（メタデータ） (2024-09-25T18:35:45Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳（メタデータ） (2024-01-11T05:05:01Z) - Regularized Conventions: Equilibrium Computation as a Model of Pragmatic
Reasoning [72.21876989058858]
本稿では,信号ゲームの正規化平衡を探索することにより,発話を生成・理解する実用的な言語理解のモデルを提案する。
このモデルでは、話者とリスナーは文脈的に適切な発話を探索し、ゲーム理論の最適規則に近づき、共有された'デフォルト'セマンティクスに近い意味のマッピングを意味づける。
論文 参考訳（メタデータ） (2023-11-16T09:42:36Z) - Modeling structure-building in the brain with CCG parsing and large
language models [9.17816011606258]
Combinatory Categorial Grammars (CCGs) は文法の直接合成モデルである。
我々は、より表現力のあるCCGが、fMRIで収集された人間の神経信号に対する文脈自由文法よりも優れたモデルを提供するかどうかを評価する。
論文 参考訳（メタデータ） (2022-10-28T14:21:29Z) - The Better Your Syntax, the Better Your Semantics? Probing Pretrained
Language Models for the English Comparative Correlative [7.03497683558609]
Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。
我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。
以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
論文 参考訳（メタデータ） (2022-10-24T13:01:24Z) - Curriculum Learning for Goal-Oriented Semantic Communications with a
Common Language [60.85719227557608]
話者とリスナーが協調して一連のタスクを実行することを可能にするために,総合目標指向のセマンティックコミュニケーションフレームワークを提案する。
話者とリスナーのセマンティックコミュニケーションを実現するために,階層的信念に基づく共通言語を提案する。
最適化問題は、イベントの完全かつ抽象的な記述を決定するために定義される。
論文 参考訳（メタデータ） (2022-04-21T22:36:06Z) - Generalized Optimal Linear Orders [9.010643838773477]
言語の逐次構造、特に文中の単語の順序は、人間の言語処理において中心的な役割を果たす。
言語の計算モデルの設計において、デファクトのアプローチは、原文と同じ順序で命令された単語を機械に提示することである。
この研究の本質は、これが望ましいという暗黙の仮定を疑問視し、自然言語処理における語順の考慮に理論的健全性を注入することである。
論文 参考訳（メタデータ） (2021-08-13T13:10:15Z) - How could Neural Networks understand Programs? [67.4217527949013]
ソースコードにnlpプリトレーニング技術を直接適用するか、あるいはtheshelfによってモデルに機能を追加するかで、プログラムをより理解するためのモデルを構築するのは難しい。
本研究では,(1)操作セマンティクスの基本操作とよく一致する表現と(2)環境遷移の情報からなる情報から,モデルが学ぶべき新しいプログラムセマンティクス学習パラダイムを提案する。
論文 参考訳（メタデータ） (2021-05-10T12:21:42Z) - Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。
SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。
本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
論文 参考訳（メタデータ） (2020-04-28T07:24:43Z) - Emergence of Pragmatics from Referential Game between Theory of Mind
Agents [64.25696237463397]
エージェントが手書きのルールを指定せずに「行間を読む」能力を自発的に学習するアルゴリズムを提案する。
協調型マルチエージェント教育状況における心の理論(ToM)を統合し,適応型強化学習(RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-01-21T19:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。