論文の概要: Transformers in the loop: Polarity in neural models of language
- arxiv url: http://arxiv.org/abs/2109.03926v1
- Date: Wed, 8 Sep 2021 20:56:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:21:43.256099
- Title: Transformers in the loop: Polarity in neural models of language
- Title（参考訳）: ループの変圧器:言語のニューラルモデルにおける極性
- Authors: Lisa Bylinina, Alexey Tikhonov
- Abstract要約: 我々は2つの事前学習されたトランスフォーマーモデルにおいて、いわゆる「負極性アイテム」を介して極性を探索する。
言語モデルから得られたメトリクスは、言語理論の予測よりも、心理言語実験のデータと一致していることを示す。
- 参考スコア（独自算出の注目度）: 0.20305676256390934
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Representation of linguistic phenomena in computational language models is
typically assessed against the predictions of existing linguistic theories of
these phenomena. Using the notion of polarity as a case study, we show that
this is not always the most adequate set-up. We probe polarity via so-called
'negative polarity items' (in particular, English 'any') in two pre-trained
Transformer-based models (BERT and GPT-2). We show that -- at least for
polarity -- metrics derived from language models are more consistent with data
from psycholinguistic experiments than linguistic theory predictions.
Establishing this allows us to more adequately evaluate the performance of
language models and also to use language models to discover new insights into
natural language grammar beyond existing linguistic theories. Overall, our
results encourage a closer tie between experiments with human subjects and with
language models. We propose methods to enable this closer tie, with language
models as part of experimental pipeline, and show this pipeline at work.
- Abstract（参考訳）: 計算言語モデルにおける言語現象の表現は通常、これらの現象の既存の言語理論の予測に対して評価される。
極性の概念をケーススタディとして使用することで、これは必ずしも適切な設定ではないことを示す。
我々は,2つの事前学習されたトランスフォーマーモデル(bertとgpt-2)において,いわゆる「負極性項目」(特に英語の「any」)を介して極性を調べる。
少なくとも極性については、言語モデルから派生したメトリクスは、言語理論の予測よりも精神言語実験のデータと一致していることを示す。
これにより、言語モデルの性能をより適切に評価し、言語モデルを使用して、既存の言語理論を超えて、自然言語文法に対する新たな洞察を発見することができる。
総じて,本研究は,人体実験と言語モデルとの密接な関係を助長する。
実験パイプラインの一部として,言語モデルとの密接な連携を可能にする手法を提案し,このパイプラインの動作を示す。
関連論文リスト
- Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。
英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。
以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
論文 参考訳（メタデータ） (2024-10-17T09:48:08Z) - Language Models as Models of Language [0.0]
この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。
言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。
私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
論文 参考訳（メタデータ） (2024-08-13T18:26:04Z) - Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。
提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-08T00:18:56Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。
この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
論文 参考訳（メタデータ） (2022-07-20T04:20:46Z) - Connecting degree and polarity: An artificial language learning study [13.82735766201496]
我々は、修飾子の表現する度合いが、修飾子の文の極性に対する感度に関係しているという仮説を検証した。
本稿では、心理言語学からニューラルネットワークモデルへの人工言語学習実験パラダイムの適用について述べる。
実験結果から,BERTは次数意味論と極性感度を関連づけた既存の言語学的観察と一致して一般化することが示唆された。
論文 参考訳（メタデータ） (2021-09-13T21:36:01Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳（メタデータ） (2021-06-16T18:13:55Z) - Examining the Inductive Bias of Neural Language Models with Artificial
Languages [42.699545862522214]
本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。
これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
論文 参考訳（メタデータ） (2021-06-02T09:34:32Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳（メタデータ） (2020-10-06T20:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。