Fugu-MT 論文翻訳(概要): Formal Language Theory Meets Modern NLP

論文の概要: Formal Language Theory Meets Modern NLP

arxiv url: http://arxiv.org/abs/2102.10094v1
Date: Fri, 19 Feb 2021 18:51:10 GMT
ステータス: 処理完了
システム内更新日: 2021-02-22 22:43:36.787704
Title: Formal Language Theory Meets Modern NLP
Title（参考訳）: 形式言語理論が現代のNLPに会う
Authors: William Merrill
Abstract要約: 私は、この最近の作品に関連して、形式言語の背景を説明することを目指しています。私は必然的にこの分野の豊かな歴史の大部分を無視し、代わりに近代的な深層学習に基づくNLPの観点から形式言語理論の概念を提示することに焦点をあてる。
参考スコア（独自算出の注目度）: 2.0653773563643347
License: http://creativecommons.org/licenses/by/4.0/
Abstract: NLP is deeply intertwined with the formal study of language, both conceptually and historically. Arguably, this connection goes all the way back to Chomsky's Syntactic Structures in 1957. This still holds true today, with a strand of recent works building formal analysis of modern neural networks methods in terms of formal languages. In this document, I aim to explain background about formal languages as they relate to to this recent work. I will by necessity ignore large parts of the rich history of this field, instead focusing on presenting formal language theoretic concepts from the perspective of modern deep learning-based NLP.
Abstract（参考訳）: NLPは概念的にも歴史的にも言語の形式的な研究と深く絡み合っている。おそらくこの関係は、1957年のチョムスキーの構文構造にまで遡る。現代のニューラルネットワークの形式的分析手法を形式言語の観点から構築する、最近の一連の研究は、今日でもなお事実である。この文書では、この最近の作品に関連する形式言語の背景を説明することを目指しています。私は必然的にこの分野の豊かな歴史の大部分を無視し、代わりに近代的な深層学習に基づくNLPの観点から形式言語理論の概念を提示することに焦点をあてる。

関連論文リスト

Striking a Balance between Classical and Deep Learning Approaches in Natural Language Processing Pedagogy [43.69905228938147]
本稿では,オーストラリアとインドで教えられた2つの導入NLPコースの講座の視点について論じる。講義計画と授業の評価において,古典的および深層学習のアプローチがどのようにバランスをとるかを検討する。我々は,NLP問題や潜在的な解法,さらには深層学習モデル自体の直感的な理解を構築することで,古典的アプローチの教育が学生の学習に価値をもたらすことを観察した。
論文参考訳（メタデータ） (2024-05-16T07:14:13Z)
How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文参考訳（メタデータ） (2024-01-11T09:27:50Z)
A Philosophical Introduction to Language Models -- Part I: Continuity With Classic Debates [0.05657375260432172]
この記事では、哲学者の言語モデルに関するプライマーとしての役割と、その重要性に関する世論調査としての役割について述べる。言語モデルの成功は、人工ニューラルネットワークに関する長年の仮定に挑戦するものだ、と我々は主張する。これは、共用紙(Part II)のステージを設定し、言語モデルの内部動作を探索するための新しい経験的手法に転換する。
論文参考訳（メタデータ） (2024-01-08T14:12:31Z)
The Problem of Alignment [1.2277343096128712]
大規模言語モデルは、大きなコーパスから統計的パターンとして学習されたシーケンスを生成する。最初のトレーニングモデルが人間の価値観と一致しなくてはならない場合、他のモデルよりも一定の継続が望ましい。ユーザとモデル間の双方向インタラクションとして,この構造化の実践について検討する。
論文参考訳（メタデータ） (2023-12-30T11:44:59Z)
Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文参考訳（メタデータ） (2023-11-07T20:21:42Z)
An Inclusive Notion of Text [69.36678873492373]
テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
論文参考訳（メタデータ） (2022-11-10T14:26:43Z)
O-Dang! The Ontology of Dangerous Speech Messages [53.15616413153125]
O-Dang!:The Ontology of Dangerous Speech Messages, a systematic and interoperable Knowledge Graph (KG) O-Dang!は、Lingguistic Linked Open Dataコミュニティで共有されている原則に従って、イタリアのデータセットを構造化されたKGにまとめ、整理するように設計されている。ゴールド・スタンダードとシングル・アノテータのラベルをKGにエンコードするモデルを提供する。
論文参考訳（メタデータ） (2022-07-13T11:50:05Z)
The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文参考訳（メタデータ） (2021-03-02T15:57:39Z)
Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文参考訳（メタデータ） (2021-01-13T15:22:01Z)
In search of isoglosses: continuous and discrete language embeddings in Slavic historical phonology [0.0]
私たちは3種類の言語埋め込み(dense, sigmoid, ストレートスルー)を採用しています。 Sigmoid モデルの言語埋め込みは,従来のスラヴ語のサブグループ化と最強の一致を示している。
論文参考訳（メタデータ） (2020-05-27T18:10:46Z)
A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
論文参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。