論文の概要: Syntactic Structure from Deep Learning
- arxiv url: http://arxiv.org/abs/2004.10827v1
- Date: Wed, 22 Apr 2020 20:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 18:24:16.239701
- Title: Syntactic Structure from Deep Learning
- Title(参考訳): ディープラーニングからの構文構造
- Authors: Tal Linzen and Marco Baroni
- Abstract要約: 現代のディープニューラルネットワークは、機械翻訳のような広範な言語スキルを必要とするエンジニアリングアプリケーションにおいて、素晴らしいパフォーマンスを達成する。
この成功は、これらのモデルが、露出した生データから人間のような文法的知識を誘導しているかどうかを調査することへの関心を喚起した。
- 参考スコア(独自算出の注目度): 40.84740599926241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep neural networks achieve impressive performance in engineering
applications that require extensive linguistic skills, such as machine
translation. This success has sparked interest in probing whether these models
are inducing human-like grammatical knowledge from the raw data they are
exposed to, and, consequently, whether they can shed new light on long-standing
debates concerning the innate structure necessary for language acquisition. In
this article, we survey representative studies of the syntactic abilities of
deep networks, and discuss the broader implications that this work has for
theoretical linguistics.
- Abstract(参考訳): 現代のディープニューラルネットワークは、機械翻訳のような広範な言語スキルを必要とするエンジニアリングアプリケーションにおいて、素晴らしいパフォーマンスを達成する。
この成功は、これらのモデルが生のデータから人間のような文法的知識を誘導しているかどうかを探究する関心を呼び起こし、その結果、言語獲得に必要な自然構造に関する長年の議論に新たな光を当てることができるかどうかを探った。
本稿では,深層ネットワークの構文能力に関する代表的な研究を調査し,この研究が理論的言語学に与える影響について考察する。
関連論文リスト
- SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - On Robustness of Prompt-based Semantic Parsing with Large Pre-trained
Language Model: An Empirical Study on Codex [48.588772371355816]
本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。
この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
論文 参考訳(メタデータ) (2023-01-30T13:21:00Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。
我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。
本稿では,構文研究における様々な研究課題の意義について概説する。
論文 参考訳(メタデータ) (2021-10-17T18:25:23Z) - On the proper role of linguistically-oriented deep net analysis in
linguistic theorizing [25.64606911182175]
深層ネットワークは言語発話の受容性について明確な予測を行う理論として扱われるべきである。
このアイデアを真剣に追求する上で、いくつかの障害を克服すれば、私たちは強力な新しい理論ツールを手に入れることになる、と私は主張する。
論文 参考訳(メタデータ) (2021-06-16T10:57:24Z) - A Short Survey of Pre-trained Language Models for Conversational AI-A
NewAge in NLP [17.10418053437171]
最近導入された事前学習言語モデルは、データ不足の問題に対処する可能性がある。
これらのモデルは、階層的関係、長期依存、感情など、異なる言語の側面を捉えることを実証している。
本論文では,これらの事前学習モデルが対話システムに関連する課題を克服できるかどうかを明らかにする。
論文 参考訳(メタデータ) (2021-04-22T01:00:56Z) - Introducing Syntactic Structures into Target Opinion Word Extraction
with Deep Learning [89.64620296557177]
目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。
また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。
提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
論文 参考訳(メタデータ) (2020-10-26T07:13:17Z) - On the Effects of Using word2vec Representations in Neural Networks for
Dialogue Act Recognition [0.6767885381740952]
文中の単語列をキャプチャする再帰モデルを探索するディープニューラルネットワークを提案する。
このモデルを英語、フランス語、チェコ語という3つの言語で検証する。
論文 参考訳(メタデータ) (2020-10-22T07:21:17Z) - The Unstoppable Rise of Computational Linguistics in Deep Learning [17.572024590374305]
自然言語理解タスクに適用されたニューラルネットワークの歴史を辿る。
トランスフォーマーはシーケンスモデルではなく、帰納構造モデルであると主張する。
論文 参考訳(メタデータ) (2020-05-13T16:51:02Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳(メタデータ) (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。