論文の概要: Formal Language Theory Meets Modern NLP
- arxiv url: http://arxiv.org/abs/2102.10094v1
- Date: Fri, 19 Feb 2021 18:51:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-22 22:43:36.787704
- Title: Formal Language Theory Meets Modern NLP
- Title(参考訳): 形式言語理論が現代のNLPに会う
- Authors: William Merrill
- Abstract要約: 私は、この最近の作品に関連して、形式言語の背景を説明することを目指しています。
私は必然的にこの分野の豊かな歴史の大部分を無視し、代わりに近代的な深層学習に基づくNLPの観点から形式言語理論の概念を提示することに焦点をあてる。
- 参考スコア(独自算出の注目度): 2.0653773563643347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: NLP is deeply intertwined with the formal study of language, both
conceptually and historically. Arguably, this connection goes all the way back
to Chomsky's Syntactic Structures in 1957. This still holds true today, with a
strand of recent works building formal analysis of modern neural networks
methods in terms of formal languages. In this document, I aim to explain
background about formal languages as they relate to to this recent work. I will
by necessity ignore large parts of the rich history of this field, instead
focusing on presenting formal language theoretic concepts from the perspective
of modern deep learning-based NLP.
- Abstract(参考訳): NLPは概念的にも歴史的にも言語の形式的な研究と深く絡み合っている。
おそらくこの関係は、1957年のチョムスキーの構文構造にまで遡る。
現代のニューラルネットワークの形式的分析手法を形式言語の観点から構築する、最近の一連の研究は、今日でもなお事実である。
この文書では、この最近の作品に関連する形式言語の背景を説明することを目指しています。
私は必然的にこの分野の豊かな歴史の大部分を無視し、代わりに近代的な深層学習に基づくNLPの観点から形式言語理論の概念を提示することに焦点をあてる。
関連論文リスト
- Natural Language Processing for Dialects of a Language: A Survey [59.78833854847185]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳(メタデータ) (2024-01-11T03:04:38Z) - A Philosophical Introduction to Language Models -- Part I: Continuity
With Classic Debates [0.05657375260432172]
この記事では、哲学者の言語モデルに関するプライマーとしての役割と、その重要性に関する世論調査としての役割について述べる。
言語モデルの成功は、人工ニューラルネットワークに関する長年の仮定に挑戦するものだ、と我々は主張する。
これは、共用紙(Part II)のステージを設定し、言語モデルの内部動作を探索するための新しい経験的手法に転換する。
論文 参考訳(メタデータ) (2024-01-08T14:12:31Z) - The Problem of Alignment [1.2277343096128712]
大規模言語モデルは、大きなコーパスから統計的パターンとして学習されたシーケンスを生成する。
最初のトレーニングモデルが人間の価値観と一致しなくてはならない場合、他のモデルよりも一定の継続が望ましい。
ユーザとモデル間の双方向インタラクションとして,この構造化の実践について検討する。
論文 参考訳(メタデータ) (2023-12-30T11:44:59Z) - Formal Aspects of Language Modeling [79.5645409889761]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳(メタデータ) (2023-11-07T20:21:42Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳(メタデータ) (2022-11-11T04:29:02Z) - An Inclusive Notion of Text [69.36678873492373]
テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。
言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
論文 参考訳(メタデータ) (2022-11-10T14:26:43Z) - The Role of Explanatory Value in Natural Language Processing [0.6091702876917281]
言語行動の説明はNLPの主な目的であるべきだと私は主張する。
我々は,NLP研究と制度政策にどのような意味があるのかを,我々のコミュニティが説明的価値を真剣に捉えているかどうかを問うことで結論づける。
論文 参考訳(メタデータ) (2022-09-13T17:19:04Z) - O-Dang! The Ontology of Dangerous Speech Messages [53.15616413153125]
O-Dang!:The Ontology of Dangerous Speech Messages, a systematic and interoperable Knowledge Graph (KG)
O-Dang!は、Lingguistic Linked Open Dataコミュニティで共有されている原則に従って、イタリアのデータセットを構造化されたKGにまとめ、整理するように設計されている。
ゴールド・スタンダードとシングル・アノテータのラベルをKGにエンコードするモデルを提供する。
論文 参考訳(メタデータ) (2022-07-13T11:50:05Z) - The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。
その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。
この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文 参考訳(メタデータ) (2021-03-02T15:57:39Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳(メタデータ) (2021-01-13T15:22:01Z) - In search of isoglosses: continuous and discrete language embeddings in
Slavic historical phonology [0.0]
私たちは3種類の言語埋め込み(dense, sigmoid, ストレートスルー)を採用しています。
Sigmoid モデルの言語埋め込みは,従来のスラヴ語のサブグループ化と最強の一致を示している。
論文 参考訳(メタデータ) (2020-05-27T18:10:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。