論文の概要: Old BERT, New Tricks: Artificial Language Learning for Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2109.06333v1
• Date: Mon, 13 Sep 2021 21:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 04:45:21.728157
• Title: Old BERT, New Tricks: Artificial Language Learning for Pre-Trained Language Models
• Title（参考訳）: Old BERT, New Tricks: 事前学習型言語モデルのための人工言語学習
• Authors: Lisa Bylinina, Alexey Tikhonov, Ekaterina Garmash
• Abstract要約: 人工言語学習実験パラダイムを心理言語学から拡張する。 我々は、人工言語学習実験環境において、モデルを主題として扱う。
• 参考スコア（独自算出の注目度）: 0.3007949058551534
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We extend the artificial language learning experimental paradigm from psycholinguistics and apply it to pre-trained language models -- specifically, BERT (Devlin et al., 2019). We treat the model as a subject in an artificial language learning experimental setting: in order to learn the relation between two linguistic properties A and B, we introduce a set of new, non-existent, linguistic items, give the model information about their variation along property A, then measure to what extent the model learns property B for these items as a result of training. We show this method at work for degree modifiers (expressions like "slightly", "very", "rather", "extremely") and test the hypothesis that the degree expressed by modifiers (low, medium or high degree) is related to their sensitivity to sentence polarity (whether they show preference for affirmative or negative sentences or neither). Our experimental results are compatible with existing linguistic observations that relate degree semantics to polarity-sensitivity, including the main one: low degree semantics leads to positive polarity sensitivity (that is, to preference towards affirmative contexts). The method can be used in linguistics to elaborate on hypotheses and interpret experimental results, as well as for more insightful evaluation of linguistic representations in language models.
• Abstract（参考訳）: 私たちは、人工言語学習の実験パラダイムを精神言語学から拡張し、事前学習された言語モデルに適用します。 本研究では,2つの言語特性AとBの関係を学習するために,新たに存在しない言語項目のセットを導入し,それらの特性Aに沿った変動に関するモデル情報を提示し,これらの項目について,モデルがどの程度に学習したかを測定する。 本手法は,次数修飾子(slightly, "very", "rather", "extremely" などの表現)の作業において,修飾子で表される次数(低,中,高)が文の極性に対する感受性(肯定的あるいは否定的な文の好みを示すか否かに関わらず)に関係しているという仮説を検証する。 本研究の結果は,低次セマンティクスが正の極性感度(肯定的文脈への嗜好)をもたらすことを含む,次数セマンティクスと極性感度を関連づける既存の言語学的観察と互換性がある。 この手法は言語学において、仮説を詳述し、実験結果を解釈するだけでなく、言語モデルにおける言語表現のより深い評価にも利用できる。

関連論文リスト

• Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
  大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。 最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。 InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:30:48Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Transformers in the loop: Polarity in neural models of language [0.20305676256390934]
  我々は2つの事前学習されたトランスフォーマーモデルにおいて、いわゆる「負極性アイテム」を介して極性を探索する。 言語モデルから得られたメトリクスは、言語理論の予測よりも、心理言語実験のデータと一致していることを示す。
  論文  参考訳（メタデータ） (2021-09-08T20:56:32Z)
• Mitigating Biases in Toxic Language Detection through Invariant Rationalization [70.36701068616367]
  性別、人種、方言などの属性に対するバイアスは、毒性検出のためのほとんどのトレーニングデータセットに存在する。 本稿では,論理生成器と予測器から構成されるゲーム理論フレームワークである不変合理化(InvRat)を用いて,特定の構文パターンの素早い相関を除外することを提案する。 本手法は, 語彙属性と方言属性の両方において, 従来のデバイアス法よりも低い偽陽性率を示す。
  論文  参考訳（メタデータ） (2021-06-14T08:49:52Z)
• ABNIRML: Analyzing the Behavior of Neural IR Models [45.74073795558624]
  BERTやT5のような事前訓練された言語モデルは、アドホック検索のための新しい最先端技術を確立した。 ニューラルIRモードL(ABNIRML)の挙動解析のための包括的枠組みを提案する。 我々は、ニューラルネットワークの利得に寄与する要因についての洞察を得るための実証的研究を行う。
  論文  参考訳（メタデータ） (2020-11-02T03:07:38Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)
• Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
  本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。 13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。 どちらのモデルも、SUDよりもUDを好むことが分かりました。
  論文  参考訳（メタデータ） (2020-04-29T11:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。