論文の概要: ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for
Nouns' Semantic Properties and their Prototypicality
- arxiv url: http://arxiv.org/abs/2110.06376v1
- Date: Tue, 12 Oct 2021 21:43:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 14:34:10.475624
- Title: ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for
Nouns' Semantic Properties and their Prototypicality
- Title（参考訳）: all Dolphins are Intelligent and SOME are Friendly: Probing BERT for Nouns' Semantic Properties and their Prototypeality
- Authors: Marianna Apidianaki and Aina Gar\'i Soler
- Abstract要約: 我々は、参照範囲を制限しない形容詞で表される英語の名詞を構成するためにBERT(Devlin et al.)を探索する。
本研究は,名詞間の関連性の強さと意味的特徴を捉える心理言語学的データセットに基づく。
そこで, BERTでは, 形容詞の意味を推論する上で必要な情報を活用することができた。
- 参考スコア（独自算出の注目度）: 4.915907527975786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large scale language models encode rich commonsense knowledge acquired
through exposure to massive data during pre-training, but their understanding
of entities and their semantic properties is unclear. We probe BERT (Devlin et
al., 2019) for the properties of English nouns as expressed by adjectives that
do not restrict the reference scope of the noun they modify (as in "red car"),
but instead emphasise some inherent aspect ("red strawberry"). We base our
study on psycholinguistics datasets that capture the association strength
between nouns and their semantic features. We probe BERT using cloze tasks and
in a classification setting, and show that the model has marginal knowledge of
these features and their prevalence as expressed in these datasets. We discuss
factors that make evaluation challenging and impede drawing general conclusions
about the models' knowledge of noun properties. Finally, we show that when
tested in a fine-tuning setting addressing entailment, BERT successfully
leverages the information needed for reasoning about the meaning of
adjective-noun constructions outperforming previous methods.
- Abstract（参考訳）: 大規模言語モデルは、事前学習中に大量のデータに曝露することで得られた豊富なコモンセンス知識を符号化するが、エンティティとその意味的特性に対する理解は不明確である。
我々は、修飾する名詞の参照範囲を制限しない形容詞によって表現される英語の名詞の性質についてbert(devlin et al., 2019)を調べ、代わりにいくつかの固有の側面(「赤いイチゴ」)を強調した。
本研究は,名詞間の関係強さと意味的特徴を捉える心理言語学的データセットに基づく。
本研究は,閉鎖タスクと分類設定を用いてBERTを探索し,これらの特徴とそれらの有意な有意な有意な有意な有意性を示す。
評価を困難にし、モデルの名詞特性に関する知識に関する一般的な結論を引き出す要因について議論する。
最後に, BERT では, 従来の手法よりも優れた形容詞構成の意味を推論する上で必要な情報を活用することができた。
関連論文リスト
- Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳（メタデータ） (2024-03-04T08:38:56Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - Visualizing the Obvious: A Concreteness-based Ensemble Model for Noun
Property Prediction [34.37730333491428]
名詞の性質は他の種類の知識よりも抽出するのが困難である。
本稿では,これらの特性を画像から抽出し,アンサンブルモデルで使用し,言語モデルから抽出した情報を補完する手法を提案する。
提案したテキストと画像の組み合わせは,強力なテキストベース言語モデルと比較して,名詞特性の予測を大幅に改善することを示す。
論文 参考訳（メタデータ） (2022-10-24T01:25:21Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Representing Affect Information in Word Embeddings [5.378735006566249]
大規模ニューラルネットワークで事前学習した単語の埋め込みにおいて、単語の感情の意味がコード化されているかどうかを検討した。
埋め込みは静的あるいは文脈的に変化し、事前学習と微調整の段階で特定の情報にどの程度影響するかが優先された。
論文 参考訳（メタデータ） (2022-09-21T18:16:33Z) - Towards Explainability in NLP: Analyzing and Calculating Word Saliency
through Word Properties [4.330880304715002]
本稿では,「塩分」と「塩分」の関係について考察する。
テキストサンプル中の単語とそれらの特性からサリエンシ値へのマッピングモデルSeq2Saliencyを構築した。
単語の塩分濃度を異なる特性で解析する実験を行った。
論文 参考訳（メタデータ） (2022-07-17T06:02:48Z) - Knowledge Graph Fusion for Language Model Fine-tuning [0.0]
BERTの微調整段階における知識導入のメリットについて検討する。
既存のK-BERTモデルは、知識グラフから三つ子で文を豊かにするものであり、英語に適応している。
K-BERTに変更された英語は、他の単語ベースの言語にも拡張されている。
論文 参考訳（メタデータ） (2022-06-21T08:06:22Z) - More Than Words: Collocation Tokenization for Latent Dirichlet
Allocation Models [71.42030830910227]
モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。
マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
論文 参考訳（メタデータ） (2021-08-24T14:08:19Z) - BERT Knows Punta Cana is not just beautiful, it's gorgeous: Ranking
Scalar Adjectives with Contextualised Representations [6.167728295758172]
本研究では,スカラー形容詞の強度検出のためのBERTに基づく新しい手法を提案する。
文脈表現から直接導出されるベクトルによる強度をモデル化し,スカラー形容詞のランク付けに成功していることを示す。
論文 参考訳（メタデータ） (2020-10-06T13:05:47Z) - Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。
我々は,構文的 LM から単語の周辺分布を抽出する。
本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文 参考訳（メタデータ） (2020-05-27T16:44:01Z) - Interpretability Analysis for Named Entity Recognition to Understand
System Predictions and How They Can Improve [49.878051587667244]
名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。
文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。
我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
論文 参考訳（メタデータ） (2020-04-09T14:37:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。