論文の概要: Modelling Compositionality and Structure Dependence in Natural Language
- arxiv url: http://arxiv.org/abs/2012.02038v2
- Date: Wed, 30 Dec 2020 17:14:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 09:08:32.617778
- Title: Modelling Compositionality and Structure Dependence in Natural Language
- Title（参考訳）: 自然言語における構成性と構造依存のモデル化
- Authors: Karthikeya Ramesh Kaushik, Andrea E. Martin
- Abstract要約: 言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
- 参考スコア（独自算出の注目度）: 0.12183405753834563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human beings possess the most sophisticated computational machinery in the
known universe. We can understand language of rich descriptive power, and
communicate in the same environment with astonishing clarity. Two of the many
contributors to the interest in natural language - the properties of
Compositionality and Structure Dependence, are well documented, and offer a
vast space to ask interesting modelling questions. The first step to begin
answering these questions is to ground verbal theory in formal terms. Drawing
on linguistics and set theory, a formalisation of these ideas is presented in
the first half of this thesis. We see how cognitive systems that process
language need to have certain functional constraints, viz. time based,
incremental operations that rely on a structurally defined domain. The
observations that result from analysing this formal setup are examined as part
of a modelling exercise. Using the advances of word embedding techniques, a
model of relational learning is simulated with a custom dataset to demonstrate
how a time based role-filler binding mechanism satisfies some of the
constraints described in the first section. The model's ability to map
structure, along with its symbolic-connectionist architecture makes for a
cognitively plausible implementation. The formalisation and simulation are
together an attempt to recognise the constraints imposed by linguistic theory,
and explore the opportunities presented by a cognitive model of relation
learning to realise these constraints.
- Abstract（参考訳）: 人間は既知の宇宙で最も洗練された計算機械を持っている。
豊かな記述力の言語を理解し、驚くべき明快さで同じ環境でコミュニケーションすることができる。
自然言語に興味を持つ多くのコントリビュータの2つ – 構成性と構造依存の性質 – は十分に文書化されており、興味深いモデリング質問を行うための広大なスペースを提供する。
これらの疑問に答え始める最初のステップは、形式的な言葉理論を基礎づけることである。
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
私たちは、言語を処理する認知システムが、構造的に定義されたドメインに依存する時間ベースのインクリメンタルな操作など、特定の機能的制約を持つ必要があることを目にします。
このフォーマルな設定を分析した結果の観察は、モデリング演習の一環として検討される。
単語埋め込み技術の進歩により、リレーショナルラーニングのモデルはカスタムデータセットでシミュレートされ、最初のセクションで記述された制約のいくつかを満たす時間ベースのロールフィラー結合メカニズムがいかに満たされるかを示す。
モデルが構造をマッピングする能力とシンボリック・コネクショニストアーキテクチャは、認知的に妥当な実装を可能にします。
形式化とシミュレーションは、言語理論によって課される制約を認識し、これらの制約を実現するための関係学習の認知モデルによって提示される機会を探求する試みである。
関連論文リスト
- Finding Structure in Language Models [3.882018118763685]
この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。
我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
論文 参考訳（メタデータ） (2024-11-25T14:37:24Z) - Neurosymbolic Graph Enrichment for Grounded World Models [47.92947508449361]
複雑な問題に対処するために, LLM の反応性を向上し, 活用するための新しいアプローチを提案する。
我々は,大規模言語モデルの強みと構造的意味表現を組み合わせた,多モーダルで知識を付加した意味の形式表現を作成する。
非構造化言語モデルと形式的意味構造とのギャップを埋めることで、自然言語理解と推論における複雑な問題に対処するための新たな道を開く。
論文 参考訳（メタデータ） (2024-11-19T17:23:55Z) - A Complexity-Based Theory of Compositionality [53.025566128892066]
AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。
ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。
この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
論文 参考訳（メタデータ） (2024-10-18T18:37:27Z) - Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳（メタデータ） (2024-03-18T16:52:54Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2023-06-22T05:14:00Z) - Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。
私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。
特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文 参考訳（メタデータ） (2023-06-21T11:24:41Z) - Multi-Relational Hyperbolic Word Embeddings from Natural Language
Definitions [5.763375492057694]
本稿では、そのような構造を明示的に活用し、定義から単語埋め込みを導出するマルチリレーショナルモデルを提案する。
経験的な分析は、フレームワークが望ましい構造的制約を課すのに役立つことを示している。
実験により、ユークリッド語よりもハイパーボリック語の埋め込みの方が優れていることが示された。
論文 参考訳（メタデータ） (2023-05-12T08:16:06Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Towards Coinductive Models for Natural Language Understanding. Bringing
together Deep Learning and Deep Semantics [0.0]
Coinductionはオペレーティング システムおよびプログラミング言語の設計で首尾よく使用されました。
テキストマイニングや機械翻訳、インテンシティリティやモダリティをモデル化するいくつかの試みに存在している。
本稿では,自然言語処理における帰納と造語の組み合わせの例を示す。
論文 参考訳（メタデータ） (2020-12-09T03:10:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。