論文の概要: Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming

• arxiv url: http://arxiv.org/abs/2010.03010v1
• Date: Tue, 6 Oct 2020 20:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:13:21.587911
• Title: Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming
• Title（参考訳）: semantic priming による bert の lexical cues に対する感受性の検討
• Authors: Kanishka Misra, Allyson Ettinger, Julia Taylor Rayz
• Abstract要約: 本研究は, セマンティックプライミング(セマンティックプライミング)を用いて, 事前学習したBERTモデルを解析するケーススタディである。 BERTもまた「価格」を示し、文脈が関連語を含む場合と非関連語を含む場合の確率がより大きいことを予測している。 フォローアップ分析では、コンテキストがより情報的になるにつれて、BERTは関連した素語に気を散らす傾向にある。
• 参考スコア（独自算出の注目度）: 8.08493736237816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models trained to estimate word probabilities in context have become ubiquitous in natural language processing. How do these models use lexical cues in context to inform their word probabilities? To answer this question, we present a case study analyzing the pre-trained BERT model with tests informed by semantic priming. Using English lexical stimuli that show priming in humans, we find that BERT too shows "priming," predicting a word with greater probability when the context includes a related word versus an unrelated one. This effect decreases as the amount of information provided by the context increases. Follow-up analysis shows BERT to be increasingly distracted by related prime words as context becomes more informative, assigning lower probabilities to related words. Our findings highlight the importance of considering contextual constraint effects when studying word prediction in these models, and highlight possible parallels with human processing.
• Abstract（参考訳）: 文脈における単語確率を推定するために訓練されたモデルは、自然言語処理においてユビキタスになった。 これらのモデルは、単語の確率を知らせるために、どのような文脈で語彙的手がかりを使うのか? そこで本研究では,事前学習されたbertモデルを用いて,semantic primingによるテストを行うケーススタディを提案する。 人間にプライミングを示す英語の語彙的刺激を用いて、bertもまた「プリミング」を示し、文脈が関連語を含む場合と関連しない単語を含む場合の確率の高い単語を予測する。 この効果は、コンテキストによって提供される情報量が増えるにつれて減少する。 フォローアップ分析により、bertは関連する素語にますます注意をそらされ、文脈がより情報になり、関連語に低い確率を割り当てる。 本研究は,これらのモデルにおける単語予測の研究において,文脈制約の影響を考慮することの重要性を強調し,ヒューマンプロセッシングとの類似性を強調する。

関連論文リスト

• Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities [15.073507986272027]
  我々は、単語の確率を単語の確率に集約する最も一般的な方法によって生じる欠点を論じる。 これは、ほとんどの言語モデルのサブワード語彙のトークンが主要な空白を持つという事実による。 後続する白色空間の確率を現在の単語の確率に再計算する簡単な復号法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T08:44:56Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• BERT, can HE predict contrastive focus? Predicting and controlling prominence in neural TTS using a language model [29.188684861193092]
  コントラスト焦点を含む発話に基づいて,音質特性の定量化を図ったBERTモデルの精度を評価する。 また,音響的特徴に基づくTSモデルにおける代名詞長の制御性についても検討した。
  論文  参考訳（メタデータ） (2022-07-04T20:43:41Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Improving Contextual Representation with Gloss Regularized Pre-training [9.589252392388758]
  本稿では,単語の意味的類似性を高めるため,BERT事前学習(GR-BERT)に補助的なグロース正規化モジュールを提案する。 マスクされた単語を予測し、コンテキスト埋め込みを対応するグルースに同時にアライメントすることにより、単語の類似性を明示的にモデル化することができる。 実験結果から,単語レベルおよび文レベルの意味表現において,Gloss regularizerはBERTの恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T12:50:32Z)
• Language Models Explain Word Reading Times Better Than Empirical Predictability [20.38397241720963]
  認知読解研究における従来のアプローチは、文章の文脈から単語を予測することは、完結確率によって最もよく捉えられると仮定している。 確率言語モデルは、CCPよりも構文的および意味的効果の深い説明を提供する。 現在の単語のN-gramとRNN確率は、トピックモデルやCCPと比較して、より一貫して読み出し性能を予測できる。
  論文  参考訳（メタデータ） (2022-02-02T16:38:43Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。