論文の概要: Linguistic Structure from a Bottleneck on Sequential Information Processing
- arxiv url: http://arxiv.org/abs/2405.12109v1
- Date: Mon, 20 May 2024 15:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 12:45:20.577699
- Title: Linguistic Structure from a Bottleneck on Sequential Information Processing
- Title(参考訳): 逐次情報処理におけるボットネックからの言語構造
- Authors: Richard Futrell, Michael Hahn,
- Abstract要約: 我々は,過剰なエントロピーの最小化から自然言語のような体系性が生じることを示す。
人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、過剰なエントロピーが低いように構成されていることを示す。
- 参考スコア(独自算出の注目度): 5.850665541267672
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human language is a unique form of communication in the natural world, distinguished by its structured nature. Most fundamentally, it is systematic, meaning that signals can be broken down into component parts that are individually meaningful -- roughly, words -- which are combined in a regular way to form sentences. Furthermore, the way in which these parts are combined maintains a kind of locality: words are usually concatenated together, and they form contiguous phrases, keeping related parts of sentences close to each other. We address the challenge of understanding how these basic properties of language arise from broader principles of efficient communication under information processing constraints. Here we show that natural-language-like systematicity arises from minimization of excess entropy, a measure of statistical complexity that represents the minimum amount of information necessary for predicting the future of a sequence based on its past. In simulations, we show that codes that minimize excess entropy factorize their source distributions into approximately independent components, and then express those components systematically and locally. Next, in a series of massively cross-linguistic corpus studies, we show that human languages are structured to have low excess entropy at the level of phonology, morphology, syntax, and semantics. Our result suggests that human language performs a sequential generalization of Independent Components Analysis on the statistical distribution over meanings that need to be expressed. It establishes a link between the statistical and algebraic structure of human language, and reinforces the idea that the structure of human language may have evolved to minimize cognitive load while maximizing communicative expressiveness.
- Abstract(参考訳): 人間の言語は自然界におけるユニークなコミュニケーション形態であり、その構造的な性質によって区別される。
基本的にはシステマティックであり、信号は個々の意味のある部分(大まかに言えば単語)に分解され、文を形成するために通常の方法で結合される。
さらに、これらの部分を組み合わせる方法は、通常、単語が結合され、連続した句を形成し、文の関連部分が互いに近接しているような、ある種の局所性を維持している。
我々は,これらの言語の基本的特性が,情報処理制約の下での効率的なコミュニケーションのより広い原理からどのように生じるかを理解することの課題に対処する。
ここでは, 自然言語に類似した体系性は, エントロピーの最小化から生じることを示す。
シミュレーションでは, 余剰エントロピーを最小化する符号が, ソース分布をほぼ独立した成分に分解し, それらの成分を系統的に, 局所的に表現することを示した。
次に,音韻学,形態学,構文学,意味論のレベルにおいて,人間の言語が低エントロピーを持つように構成されていることを示す。
この結果から,人間言語は表現すべき意味に関する統計的分布について,独立成分分析の逐次的な一般化を行うことが示唆された。
それは、人間の言語の統計的構造と代数的構造の間に結びつきを確立し、人間の言語の構造は、コミュニケーション表現性を最大化しながら認知的負荷を最小限に抑えるために進化したかもしれないという考えを強化する。
関連論文リスト
- Finding structure in logographic writing with library learning [55.63800121311418]
書記システムにおける構造を発見するための計算フレームワークを開発する。
我々の枠組みは中国語の表記体系における既知の言語構造を発見する。
図書館学習のアプローチが、人間の認知における構造の形成の基盤となる基本的な計算原理を明らかにするのにどのように役立つかを実証する。
論文 参考訳(メタデータ) (2024-05-11T04:23:53Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳(メタデータ) (2022-03-24T21:24:54Z) - Generalized Optimal Linear Orders [9.010643838773477]
言語の逐次構造、特に文中の単語の順序は、人間の言語処理において中心的な役割を果たす。
言語の計算モデルの設計において、デファクトのアプローチは、原文と同じ順序で命令された単語を機械に提示することである。
この研究の本質は、これが望ましいという暗黙の仮定を疑問視し、自然言語処理における語順の考慮に理論的健全性を注入することである。
論文 参考訳(メタデータ) (2021-08-13T13:10:15Z) - Neural Abstructions: Abstractions that Support Construction for Grounded
Language Learning [69.1137074774244]
言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。
本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。
この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
論文 参考訳(メタデータ) (2021-07-20T07:01:15Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳(メタデータ) (2021-05-19T07:24:42Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z) - Compositionality and Generalization in Emergent Languages [42.68870559695238]
深層マルチエージェントシミュレーションで現れる言語が、新しいプリミティブの組み合わせに類似する能力を持っているかどうかを考察する。
創発的言語の合成度合いと一般化能力の相関関係は見つからない。
構成的な言語が多ければ多いほど、新しい学習者が習得しやすくなります。
論文 参考訳(メタデータ) (2020-04-20T08:30:14Z) - Hierarchical Human Parsing with Typed Part-Relation Reasoning [179.64978033077222]
このタスクでは、人体構造をモデル化する方法が中心的なテーマである。
深層グラフネットワークの表現能力と階層的人間構造を同時に活用することを模索する。
論文 参考訳(メタデータ) (2020-03-10T16:45:41Z) - Compositional Languages Emerge in a Neural Iterated Learning Model [27.495624644227888]
構成性により、自然言語はより単純な組み合わせによって複雑な概念を表現することができる。
本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語の出現を促進する効果的なニューラル・イテレーテッド・ラーニング(NIL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-04T15:19:09Z) - Structural Inductive Biases in Emergent Communication [36.26083882473554]
グラフ参照ゲームの開発による人工エージェントにおける表現学習の影響について検討する。
グラフニューラルネットワークによりパラメータ化されたエージェントは、単語のバッグやシーケンスモデルと比較して、より構成的な言語を開発する。
論文 参考訳(メタデータ) (2020-02-04T14:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。