論文の概要: Investigating Novel Verb Learning in BERT: Selectional Preference Classes and Alternation-Based Syntactic Generalization

• arxiv url: http://arxiv.org/abs/2011.02417v1
• Date: Wed, 4 Nov 2020 17:17:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 21:19:51.509880
• Title: Investigating Novel Verb Learning in BERT: Selectional Preference Classes and Alternation-Based Syntactic Generalization
• Title（参考訳）: BERTにおける新しい動詞学習の検討:選択選好クラスと交替型構文一般化
• Authors: Tristan Thrush, Ethan Wilcox, and Roger Levy
• Abstract要約: 本稿では,英語動詞の2つの側面に対してBERTの少数ショット学習能力をテストするために,新しい単語学習パラダイムをデプロイする。 BERT は,新しい単語を1つないし2つの例で微調整した後,頑健な文法的一般化を行う。
• 参考スコア（独自算出の注目度）: 22.112988757841467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous studies investigating the syntactic abilities of deep learning models have not targeted the relationship between the strength of the grammatical generalization and the amount of evidence to which the model is exposed during training. We address this issue by deploying a novel word-learning paradigm to test BERT's few-shot learning capabilities for two aspects of English verbs: alternations and classes of selectional preferences. For the former, we fine-tune BERT on a single frame in a verbal-alternation pair and ask whether the model expects the novel verb to occur in its sister frame. For the latter, we fine-tune BERT on an incomplete selectional network of verbal objects and ask whether it expects unattested but plausible verb/object pairs. We find that BERT makes robust grammatical generalizations after just one or two instances of a novel word in fine-tuning. For the verbal alternation tests, we find that the model displays behavior that is consistent with a transitivity bias: verbs seen few times are expected to take direct objects, but verbs seen with direct objects are not expected to occur intransitively.
• Abstract（参考訳）: ディープラーニングモデルの統語能力に関するこれまでの研究は、文法一般化の強さと、トレーニング中にモデルが露出する証拠量との関係を対象としていない。 本稿では,英語動詞の2つの側面について,BERTの少数ショット学習能力をテストするために,新しい単語学習パラダイムを導入することでこの問題に対処する。 前者に対しては、1つのフレームで1つの単語交互ペアでBERTを微調整し、モデルがその姉妹フレームで新しい動詞を期待するかどうかを問う。 後者の場合,不完全な選択対象のネットワーク上でBERTを微調整し,未検証だが検証可能な動詞/オブジェクトペアを期待できるかを問う。 BERT は,新しい単語を1つか2つの例で微調整した後,頑健な文法的一般化を行う。 言語交替テストでは、モデルが推移バイアスと一致する動作を示すことが判明した: 数回見られる動詞は直接オブジェクトを取ることが期待されているが、直接オブジェクトで見られる動詞は非推移的に発生することは期待できない。

関連論文リスト

• Visually Grounded Speech Models have a Mutual Exclusivity Bias [20.495178526318185]
  子どもが新しい単語を学ぶ際には、相互排他性(ME)バイアスのような制約を用いる。 このバイアスは計算学的に研究されてきたが、個々の単語表現を入力として使用するモデルでのみ研究されている。 自然画像と連続音声から学習する視覚的接地音声モデルの文脈におけるMEバイアスについて検討する。
  論文  参考訳（メタデータ） (2024-03-20T18:49:59Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Suffix Retrieval-Augmented Language Modeling [1.8710230264817358]
  因果語モデリング(LM)は単語履歴を用いて次の単語を予測する。 一方,BERTは文中の双方向の単語情報を用いて,マスキング位置での単語の予測を行う。 本稿では,双方向の文脈効果を自己回帰的にシミュレートする新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-06T07:53:19Z)
• GSRFormer: Grounded Situation Recognition Transformer with Alternate Semantic Attention Refinement [73.73599110214828]
  グラウンドドコンディション認識(GSR)は、人間のイベント理解のための画像の構造化されたセマンティックサマリーを生成することを目的としている。 オブジェクト検出とイメージキャプションタスクにインスパイアされた既存のメソッドは、2段階のフレームワークを使用するのが一般的である。 本稿では,動詞と役割の双方向関係の活用に焦点をあてた,新しい2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-18T17:13:59Z)
• Noun2Verb: Probabilistic frame semantics for word class conversion [8.939269057094661]
  本稿では,新規な名詞用動詞の生成と理解をシミュレートする形式的枠組みを提案する。 話者とリスナーが協調して意味的フレーム要素上の結合分布を学習するモデルは、経験的名詞使用法をよりよく説明できることを示す。
  論文  参考訳（メタデータ） (2022-05-12T19:16:12Z)
• Word Order Does Matter (And Shuffled Language Models Know It) [9.990431777927421]
  近年の研究では、ランダムに置換された文に対して事前訓練および/または微調整された言語モデルがGLUE上での競合性能を示すことが示されている。 シャッフルテキストエンコードから得られた位置埋め込みについて検討し、これらのモデルが元の自然主義的な単語順序に関する情報を保持することを示す。
  論文  参考訳（メタデータ） (2022-03-21T14:10:15Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Refining Targeted Syntactic Evaluation of Language Models [6.991281327290524]
  英語における主語数合意の目標構文評価(TSE) 言語モデルが各文法文を非文法文よりも高い確率で評価するかどうかを評価する。 TSEは、言語モデルの体系性を過大評価しているが、モデルが予測する動詞のスコアが40%向上することは、文脈において起こりそうだ。
  論文  参考訳（メタデータ） (2021-04-19T20:55:13Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Investigating Cross-Linguistic Adjective Ordering Tendencies with a Latent-Variable Model [66.84264870118723]
  本稿では,多言語形容詞順序付けを潜在変数モデルとして,初めて純粋コーパス駆動モデルを提案する。 我々は普遍的、言語横断的、階層的形容詞順序付け傾向の存在の強い確固たる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-09T18:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。