論文の概要: Towards Coinductive Models for Natural Language Understanding. Bringing
together Deep Learning and Deep Semantics
- arxiv url: http://arxiv.org/abs/2012.05715v1
- Date: Wed, 9 Dec 2020 03:10:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 13:24:53.519843
- Title: Towards Coinductive Models for Natural Language Understanding. Bringing
together Deep Learning and Deep Semantics
- Title（参考訳）: 自然言語理解のための共起モデルに向けて
ディープラーニングとDeep Semanticsを一緒にする
- Authors: Wlodek W. Zadrozny
- Abstract要約: Coinductionはオペレーティング システムおよびプログラミング言語の設計で首尾よく使用されました。
テキストマイニングや機械翻訳、インテンシティリティやモダリティをモデル化するいくつかの試みに存在している。
本稿では,自然言語処理における帰納と造語の組み合わせの例を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article contains a proposal to add coinduction to the computational
apparatus of natural language understanding. This, we argue, will provide a
basis for more realistic, computationally sound, and scalable models of natural
language dialogue, syntax and semantics. Given that the bottom up, inductively
constructed, semantic and syntactic structures are brittle, and seemingly
incapable of adequately representing the meaning of longer sentences or
realistic dialogues, natural language understanding is in need of a new
foundation. Coinduction, which uses top down constraints, has been successfully
used in the design of operating systems and programming languages. Moreover,
implicitly it has been present in text mining, machine translation, and in some
attempts to model intensionality and modalities, which provides evidence that
it works. This article shows high level formalizations of some of such uses.
Since coinduction and induction can coexist, they can provide a common
language and a conceptual model for research in natural language understanding.
In particular, such an opportunity seems to be emerging in research on
compositionality. This article shows several examples of the joint appearance
of induction and coinduction in natural language processing. We argue that the
known individual limitations of induction and coinduction can be overcome in
empirical settings by a combination of the the two methods. We see an open
problem in providing a theory of their joint use.
- Abstract（参考訳）: 本稿では,自然言語理解の計算装置に造語を加えることを提案する。
これは、自然言語対話、構文、セマンティクスのより現実的で、計算的かつスケーラブルなモデルの基礎を提供する、と我々は主張する。
ボトムアップ、帰納的構築、意味論、構文構造が不安定であり、より長い文の意味や現実的な対話を適切に表現できないように見えることから、自然言語理解は新しい基礎が必要である。
トップダウン制約を使用するcoinductionは、オペレーティングシステムやプログラミング言語の設計でうまく使われている。
さらに、暗黙的にテキストマイニングや機械翻訳、インテンシティリティやモダリティをモデル化しようとする試みにも存在し、それが機能する証拠を提供している。
この記事では、そのような用途の高レベルな形式化を示す。
造語と帰納法は共存できるため、自然言語理解の研究のための共通言語と概念モデルを提供することができる。
特にこのような機会は、構成性の研究に現れつつあるようだ。
本稿では,自然言語処理における帰納と造語の組み合わせの例を示す。
帰納法と造語法という既知の個人的限界は、この2つの方法を組み合わせることで、経験的な設定で克服できると論じる。
共同使用の理論を提供する際には、オープンな問題がある。
関連論文リスト
- A Complexity-Based Theory of Compositionality [53.025566128892066]
AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。
ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。
この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
論文 参考訳（メタデータ） (2024-10-18T18:37:27Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2023-06-22T05:14:00Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳（メタデータ） (2023-05-24T07:33:34Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳（メタデータ） (2022-12-21T11:12:14Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - A Model of Anaphoric Ambiguities using Sheaf Theoretic Quantum-like
Contextuality and BERT [0.0]
我々は、量子的文脈性を示すアナフォリック曖昧性のためのスキーマを構築する。
次に、ニューラルネットワーク埋め込みエンジンBERTを利用して、スキーマを自然言語の例にインスタンス化する。
我々の希望は、これらの例が将来の研究の道を開くことであり、量子コンピューティングの応用を自然言語処理に拡張する方法を見つけることだ。
論文 参考訳（メタデータ） (2022-08-11T09:31:15Z) - Target Languages (vs. Inductive Biases) for Learning to Act and Plan [13.820550902006078]
私は、ニューラルアーキテクチャのバイアスから表現が現れるのではなく、既知のセマンティクスを持つ特定のターゲット言語で学習される、異なる学習アプローチを明確に表現します。
論文と講演の目的は、これらのアイデアを明確化し、対象言語の設計が不可欠である広い文脈に配置し、それらを行動と計画の学習の文脈で説明することである。
論文 参考訳（メタデータ） (2021-09-15T10:24:13Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳（メタデータ） (2020-11-22T17:28:50Z) - Universal linguistic inductive biases via meta-learning [36.43388942327124]
帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。
ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。
この枠組みを音節構造に基づくケーススタディで実証する。
論文 参考訳（メタデータ） (2020-06-29T19:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。