論文の概要: Schr\"odinger's Tree -- On Syntax and Neural Language Models

• arxiv url: http://arxiv.org/abs/2110.08887v1
• Date: Sun, 17 Oct 2021 18:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 09:15:52.565111
• Title: Schr\"odinger's Tree -- On Syntax and Neural Language Models
• Title（参考訳）: Schr\odinger's Tree - 構文モデルとニューラル言語モデルについて
• Authors: Artur Kulmizev, Joakim Nivre
• Abstract要約: 言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
• 参考スコア（独自算出の注目度）: 10.296219074343785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last half-decade, the field of natural language processing (NLP) has undergone two major transitions: the switch to neural networks as the primary modeling paradigm and the homogenization of the training regime (pre-train, then fine-tune). Amidst this process, language models have emerged as NLP's workhorse, displaying increasingly fluent generation capabilities and proving to be an indispensable means of knowledge transfer downstream. Due to the otherwise opaque, black-box nature of such models, researchers have employed aspects of linguistic theory in order to characterize their behavior. Questions central to syntax -- the study of the hierarchical structure of language -- have factored heavily into such work, shedding invaluable insights about models' inherent biases and their ability to make human-like generalizations. In this paper, we attempt to take stock of this growing body of literature. In doing so, we observe a lack of clarity across numerous dimensions, which influences the hypotheses that researchers form, as well as the conclusions they draw from their findings. To remedy this, we urge researchers make careful considerations when investigating coding properties, selecting representations, and evaluating via downstream tasks. Furthermore, we outline the implications of the different types of research questions exhibited in studies on syntax, as well as the inherent pitfalls of aggregate metrics. Ultimately, we hope that our discussion adds nuance to the prospect of studying language models and paves the way for a less monolithic perspective on syntax in this context.
• Abstract（参考訳）: 過去半年で、自然言語処理(NLP)の分野は、主要なモデリングパラダイムとしてのニューラルネットワークへの切り替えと、トレーニング体制(プレトレイン、ファインチューン)の均質化という、2つの大きな移行を遂げた。 このプロセスの中で、言語モデルはNLPのワークホースとして登場し、ますます流動的な生成能力を示し、下流での知識伝達の必要不可欠な手段であることが証明されている。 このようなモデルが不透明でブラックボックス的な性質のため、研究者は言語理論の側面を用いて行動の特徴付けを行っている。 構文(言語の階層構造の研究)の中心的な疑問は、モデル固有のバイアスと人間のような一般化を行う能力に関する貴重な洞察を隠蔽し、そのような研究に大きく影響した。 本稿では,この成長する文献の在庫を取ろうとする。 このようにして、多くの次元にまたがる明瞭さの欠如が、研究者が形成する仮説や、それらが発見から引き出す結論に影響を及ぼすのを観察する。 そこで我々は, 符号化特性の調査, 表現の選択, 下流タスクによる評価において, 研究者の注意を喚起する。 さらに,構文研究において提示される異なる種類の研究質問の意義と,集合的メトリクスの固有の落とし穴について概説する。 最終的に、私たちの議論が言語モデルの研究の見通しにニュアンスをもたらし、この文脈における構文に対するよりモノリシックな視点の道を開くことを願っている。

関連論文リスト

• Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
  本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。 その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。 これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
  論文  参考訳（メタデータ） (2024-08-06T09:27:41Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
  本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。 私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。 特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
  論文  参考訳（メタデータ） (2023-06-21T11:24:41Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
  理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。 この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
  論文  参考訳（メタデータ） (2022-07-20T04:20:46Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
  現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。 その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。 この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
  論文  参考訳（メタデータ） (2021-03-02T15:57:39Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。