論文の概要: Syntactic Structure from Deep Learning

• arxiv url: http://arxiv.org/abs/2004.10827v1
• Date: Wed, 22 Apr 2020 20:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 18:24:16.239701
• Title: Syntactic Structure from Deep Learning
• Title（参考訳）: ディープラーニングからの構文構造
• Authors: Tal Linzen and Marco Baroni
• Abstract要約: 現代のディープニューラルネットワークは、機械翻訳のような広範な言語スキルを必要とするエンジニアリングアプリケーションにおいて、素晴らしいパフォーマンスを達成する。 この成功は、これらのモデルが、露出した生データから人間のような文法的知識を誘導しているかどうかを調査することへの関心を喚起した。
• 参考スコア（独自算出の注目度）: 40.84740599926241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural networks achieve impressive performance in engineering applications that require extensive linguistic skills, such as machine translation. This success has sparked interest in probing whether these models are inducing human-like grammatical knowledge from the raw data they are exposed to, and, consequently, whether they can shed new light on long-standing debates concerning the innate structure necessary for language acquisition. In this article, we survey representative studies of the syntactic abilities of deep networks, and discuss the broader implications that this work has for theoretical linguistics.
• Abstract（参考訳）: 現代のディープニューラルネットワークは、機械翻訳のような広範な言語スキルを必要とするエンジニアリングアプリケーションにおいて、素晴らしいパフォーマンスを達成する。 この成功は、これらのモデルが生のデータから人間のような文法的知識を誘導しているかどうかを探究する関心を呼び起こし、その結果、言語獲得に必要な自然構造に関する長年の議論に新たな光を当てることができるかどうかを探った。 本稿では,深層ネットワークの構文能力に関する代表的な研究を調査し,この研究が理論的言語学に与える影響について考察する。

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Language Models as Models of Language [0.0]
  この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。 私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
  論文  参考訳（メタデータ） (2024-08-13T18:26:04Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• On the proper role of linguistically-oriented deep net analysis in linguistic theorizing [25.64606911182175]
  深層ネットワークは言語発話の受容性について明確な予測を行う理論として扱われるべきである。 このアイデアを真剣に追求する上で、いくつかの障害を克服すれば、私たちは強力な新しい理論ツールを手に入れることになる、と私は主張する。
  論文  参考訳（メタデータ） (2021-06-16T10:57:24Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• The Unstoppable Rise of Computational Linguistics in Deep Learning [17.572024590374305]
  自然言語理解タスクに適用されたニューラルネットワークの歴史を辿る。 トランスフォーマーはシーケンスモデルではなく、帰納構造モデルであると主張する。
  論文  参考訳（メタデータ） (2020-05-13T16:51:02Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。