論文の概要: Transformers in the loop: Polarity in neural models of language
- arxiv url: http://arxiv.org/abs/2109.03926v1
- Date: Wed, 8 Sep 2021 20:56:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:21:43.256099
- Title: Transformers in the loop: Polarity in neural models of language
- Title(参考訳): ループの変圧器:言語のニューラルモデルにおける極性
- Authors: Lisa Bylinina, Alexey Tikhonov
- Abstract要約: 我々は2つの事前学習されたトランスフォーマーモデルにおいて、いわゆる「負極性アイテム」を介して極性を探索する。
言語モデルから得られたメトリクスは、言語理論の予測よりも、心理言語実験のデータと一致していることを示す。
- 参考スコア(独自算出の注目度): 0.20305676256390934
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Representation of linguistic phenomena in computational language models is
typically assessed against the predictions of existing linguistic theories of
these phenomena. Using the notion of polarity as a case study, we show that
this is not always the most adequate set-up. We probe polarity via so-called
'negative polarity items' (in particular, English 'any') in two pre-trained
Transformer-based models (BERT and GPT-2). We show that -- at least for
polarity -- metrics derived from language models are more consistent with data
from psycholinguistic experiments than linguistic theory predictions.
Establishing this allows us to more adequately evaluate the performance of
language models and also to use language models to discover new insights into
natural language grammar beyond existing linguistic theories. Overall, our
results encourage a closer tie between experiments with human subjects and with
language models. We propose methods to enable this closer tie, with language
models as part of experimental pipeline, and show this pipeline at work.
- Abstract(参考訳): 計算言語モデルにおける言語現象の表現は通常、これらの現象の既存の言語理論の予測に対して評価される。
極性の概念をケーススタディとして使用することで、これは必ずしも適切な設定ではないことを示す。
我々は,2つの事前学習されたトランスフォーマーモデル(bertとgpt-2)において,いわゆる「負極性項目」(特に英語の「any」)を介して極性を調べる。
少なくとも極性については、言語モデルから派生したメトリクスは、言語理論の予測よりも精神言語実験のデータと一致していることを示す。
これにより、言語モデルの性能をより適切に評価し、言語モデルを使用して、既存の言語理論を超えて、自然言語文法に対する新たな洞察を発見することができる。
総じて,本研究は,人体実験と言語モデルとの密接な関係を助長する。
実験パイプラインの一部として,言語モデルとの密接な連携を可能にする手法を提案し,このパイプラインの動作を示す。
関連論文リスト
- UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [65.07706249058549]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは自然言語の説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳(メタデータ) (2023-11-14T19:00:55Z) - Injecting structural hints: Using language models to study inductive
biases in language learning [40.8902073270634]
言語モデルに帰納バイアスを注入し,形式的構造化データに基づいて事前学習を行う。
次に, 学習者の言語学習能力の評価を行った。
非文脈自由な関係が最良の帰納バイアスとなることを示す。
論文 参考訳(メタデータ) (2023-04-25T18:00:08Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。
この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
論文 参考訳(メタデータ) (2022-07-20T04:20:46Z) - Uncovering More Shallow Heuristics: Probing the Natural Language
Inference Capacities of Transformer-Based Pre-Trained Language Models Using
Syllogistic Patterns [9.031827448667086]
我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。
モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
論文 参考訳(メタデータ) (2022-01-19T14:15:41Z) - Connecting degree and polarity: An artificial language learning study [13.82735766201496]
我々は、修飾子の表現する度合いが、修飾子の文の極性に対する感度に関係しているという仮説を検証した。
本稿では、心理言語学からニューラルネットワークモデルへの人工言語学習実験パラダイムの適用について述べる。
実験結果から,BERTは次数意味論と極性感度を関連づけた既存の言語学的観察と一致して一般化することが示唆された。
論文 参考訳(メタデータ) (2021-09-13T21:36:01Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳(メタデータ) (2021-06-16T18:13:55Z) - Examining the Inductive Bias of Neural Language Models with Artificial
Languages [42.699545862522214]
本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。
これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
論文 参考訳(メタデータ) (2021-06-02T09:34:32Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳(メタデータ) (2020-10-06T20:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。