論文の概要: Static Embeddings as Efficient Knowledge Bases?

• arxiv url: http://arxiv.org/abs/2104.07094v1
• Date: Wed, 14 Apr 2021 19:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:06:18.491400
• Title: Static Embeddings as Efficient Knowledge Bases?
• Title（参考訳）: 静的埋め込みは効果的な知識ベースか?
• Authors: Philipp Dufter, Nora Kassner, Hinrich Sch\"utze
• Abstract要約: 10言語の多様な言語の実験では、静的埋め込みに含まれる知識を研究します。 出力空間を候補集合に制限する場合、静的埋め込みを用いた単純な近接マッチングの方がPLMよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.166295570030645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research investigates factual knowledge stored in large pretrained language models (PLMs). Instead of structural knowledge base (KB) queries, masked sentences such as "Paris is the capital of [MASK]" are used as probes. The good performance on this analysis task has been interpreted as PLMs becoming potential repositories of factual knowledge. In experiments across ten linguistically diverse languages, we study knowledge contained in static embeddings. We show that, when restricting the output space to a candidate set, simple nearest neighbor matching using static embeddings performs better than PLMs. E.g., static embeddings perform 1.6% points better than BERT while just using 0.3% of energy for training. One important factor in their good comparative performance is that static embeddings are standardly learned for a large vocabulary. In contrast, BERT exploits its more sophisticated, but expensive ability to compose meaningful representations from a much smaller subword vocabulary.
• Abstract（参考訳）: 最近の研究は、大規模事前学習言語モデル(plm)に格納された事実知識について研究している。 構造知識ベース(KB)クエリの代わりに、「パリは[MASK]の首都である」といったマスキング文がプローブとして使用される。 この分析タスクの優れた性能は、plmが事実知識の潜在的なリポジトリとなると解釈されている。 言語学的に多様な10言語を対象とした実験では,静的埋め込みに含まれる知識について検討した。 出力空間を候補集合に制限する場合、静的埋め込みを用いた単純な近接マッチングの方がPLMよりも優れていることを示す。 例えば、静的な埋め込みは、トレーニングに0.3%のエネルギーを使用しながら、BERTよりも1.6%良いポイントを達成している。 彼らの優れた比較性能の1つの重要な要因は、静的埋め込みが大語彙で標準的に学習されることである。 対照的にBERTは、より洗練されたが高価な能力を利用して、より小さなサブワード語彙から意味のある表現を構成する。

関連論文リスト

• BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings [0.4194295877935868]
  埋め込みの選択は、NLPタスクのパフォーマンス向上に重要な役割を果たす。 本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-26T18:25:57Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Revisiting Tri-training of Dependency Parsers [10.977756226111348]
  依存関係解析のタスクにおいて,三者学習と事前学習による単語埋め込みという2つの半教師あり学習手法を比較した。 言語固有のFastTextとELMoの埋め込みと多言語BERTの埋め込みについて検討する。 事前学習した単語の埋め込みは、トリオトレーニングよりも非ラベルデータの利用が効果的であることがわかったが、この2つのアプローチはうまく組み合わせることができる。
  論文  参考訳（メタデータ） (2021-09-16T17:19:05Z)
• An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models [54.74525882974022]
  1ホップと2ホップの双方において、いくつかの例は、探索性能を強く向上させることができることを示す。 特に、モデル内のバイアスベクトルを微調整する単純なyet効果のアプローチが、既存のプロンプトエンジニアリング手法より優れていることが分かる。
  論文  参考訳（メタデータ） (2021-09-06T23:29:36Z)
• BERTnesia: Investigating the capture and forgetting of knowledge in BERT [7.304523502384361]
  我々はBERTを探索し、そのパラメトリックメモリで捉えた関係知識を理解し、測定する。 以上の結果から,知識はBERTの最終層にのみ含まれていないことが明らかとなった。 BERTが微調整されると、関係知識は忘れられる。
  論文  参考訳（メタデータ） (2021-06-05T14:23:49Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Contextual Embeddings: When Are They Worth It? [14.582968294755794]
  本研究では,従来の事前学習型埋め込みと比較して,コンテキスト埋め込みの深層化によって性能が大幅に向上する状況について検討する。 これらの単純なベースラインはどちらも,産業規模のデータに対するコンテキスト埋め込みと一致することが分かりました。 我々は、複雑な構造を含む言語、曖昧な単語の使用、訓練で見つからない単語など、文脈埋め込みが特に大きな利益をもたらすデータの性質を同定する。
  論文  参考訳（メタデータ） (2020-05-18T22:20:17Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。