論文の概要: Probing Pretrained Language Models for Lexical Semantics

• arxiv url: http://arxiv.org/abs/2010.05731v1
• Date: Mon, 12 Oct 2020 14:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:49:06.945706
• Title: Probing Pretrained Language Models for Lexical Semantics
• Title（参考訳）: 語彙意味論のための事前学習言語モデルの提案
• Authors: Ivan Vuli\'c, Edoardo Maria Ponti, Robert Litschko, Goran Glava\v{s}, Anna Korhonen
• Abstract要約: 類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
• 参考スコア（独自算出の注目度）: 76.73599166020307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of large pretrained language models (LMs) such as BERT and RoBERTa has sparked interest in probing their representations, in order to unveil what types of knowledge they implicitly capture. While prior research focused on morphosyntactic, semantic, and world knowledge, it remains unclear to which extent LMs also derive lexical type-level knowledge from words in context. In this work, we present a systematic empirical analysis across six typologically diverse languages and five different lexical tasks, addressing the following questions: 1) How do different lexical knowledge extraction strategies (monolingual versus multilingual source LM, out-of-context versus in-context encoding, inclusion of special tokens, and layer-wise averaging) impact performance? How consistent are the observed effects across tasks and languages? 2) Is lexical knowledge stored in few parameters, or is it scattered throughout the network? 3) How do these representations fare against traditional static word vectors in lexical tasks? 4) Does the lexical information emerging from independently trained monolingual LMs display latent similarities? Our main results indicate patterns and best practices that hold universally, but also point to prominent variations across languages and tasks. Moreover, we validate the claim that lower Transformer layers carry more type-level lexical knowledge, but also show that this knowledge is distributed across multiple layers.
• Abstract（参考訳）: BERTやRoBERTaのような大規模な事前訓練された言語モデル(LM)の成功は、暗黙的に捉えた知識の種類を明らかにするために、それらの表現を探索することへの関心を喚起した。 以前の研究は形態素的、意味的、世界的知識に焦点が当てられていたが、lmsが文脈における単語から語彙的タイプレベルの知識をどの程度引き出すのかは、まだ不明である。 本研究は,6つの型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行い,以下の問題に対処する。 1)語彙的知識抽出戦略(単言語対多言語ソースlm、文脈外対文脈内エンコーディング、特殊トークンの包含、階層的平均化)はパフォーマンスにどのように影響するか? タスクと言語間で観察される影響はどの程度一貫性があるのか? 2) 語彙知識は少数のパラメータに格納されているか,あるいはネットワーク全体に散在しているか? 3) レキシカルタスクにおける従来の静的単語ベクトルに対して,これらの表現はどのように振る舞うのか? 4) 独立学習単言語lmsから出現する語彙情報は潜在類似性を示すか? 私たちの主な成果は、普遍的に維持されるパターンとベストプラクティスを示しますが、言語やタスクの相違点も示しています。 さらに,低レベルトランスフォーマ層がより型レベルの語彙知識を持つという主張を検証するとともに,この知識が複数の層に分散していることを示す。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer [4.944761231728674]
  我々は"Lexicon-Syntax Enhanced Multilingual BERT"と呼ばれる新しいフレームワークを提案する。 我々は、ベースモデルとしてMultilingual BERTを使用し、学習能力を高めるために2つの手法を用いています。 実験の結果、このフレームワークはゼロショット・クロスランガル転送のすべてのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-25T14:10:52Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)
• Representing Affect Information in Word Embeddings [5.378735006566249]
  大規模ニューラルネットワークで事前学習した単語の埋め込みにおいて、単語の感情の意味がコード化されているかどうかを検討した。 埋め込みは静的あるいは文脈的に変化し、事前学習と微調整の段階で特定の情報にどの程度影響するかが優先された。
  論文  参考訳（メタデータ） (2022-09-21T18:16:33Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties [17.404220737977738]
  最先端の多言語エンコーダから文表現を探索する手法を提案する。 本研究は,異なる事前学習戦略に関連する言語変化の符号化における興味深い違いを示す。
  論文  参考訳（メタデータ） (2020-09-27T15:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。