論文の概要: Contextual Embeddings: When Are They Worth It?

• arxiv url: http://arxiv.org/abs/2005.09117v1
• Date: Mon, 18 May 2020 22:20:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 22:55:30.491440
• Title: Contextual Embeddings: When Are They Worth It?
• Title（参考訳）: コンテキスト埋め込み: いつ価値があるのか?
• Authors: Simran Arora, Avner May, Jian Zhang, Christopher R\'e
• Abstract要約: 本研究では,従来の事前学習型埋め込みと比較して,コンテキスト埋め込みの深層化によって性能が大幅に向上する状況について検討する。 これらの単純なベースラインはどちらも,産業規模のデータに対するコンテキスト埋め込みと一致することが分かりました。 我々は、複雑な構造を含む言語、曖昧な単語の使用、訓練で見つからない単語など、文脈埋め込みが特に大きな利益をもたらすデータの性質を同定する。
• 参考スコア（独自算出の注目度）: 14.582968294755794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the settings for which deep contextual embeddings (e.g., BERT) give large improvements in performance relative to classic pretrained embeddings (e.g., GloVe), and an even simpler baseline---random word embeddings---focusing on the impact of the training set size and the linguistic properties of the task. Surprisingly, we find that both of these simpler baselines can match contextual embeddings on industry-scale data, and often perform within 5 to 10% accuracy (absolute) on benchmark tasks. Furthermore, we identify properties of data for which contextual embeddings give particularly large gains: language containing complex structure, ambiguous word usage, and words unseen in training.
• Abstract（参考訳）: 本稿では,従来の事前学習型埋め込み(GloVeなど)と比較して,深層文脈埋め込み(BERTなど)が性能を大幅に向上させる条件と,トレーニングセットサイズとタスクの言語特性に焦点をあてた,より単純なベースライン(ランダム単語埋め込み)について検討する。 驚くべきことに、これらの単純なベースラインは、業界規模のデータへのコンテキスト埋め込みと一致し、しばしばベンチマークタスクで5～10%の精度(絶対)で実行可能である。 さらに,複雑な構造を持つ言語,あいまいな単語使用,学習において見当たらない単語など,文脈埋め込みが特に大きな利益をもたらすデータの特性を同定する。

関連論文リスト

• Putting Context in Context: the Impact of Discussion Structure on Text Classification [13.15873889847739]
  本稿では,英語における姿勢検出のための大規模データセットに関する一連の実験を提案する。 異なる種類の文脈情報の寄与を評価する。 構造情報はテキスト分類には非常に有用であるが,特定の状況下でのみ有用であることを示す。
  論文  参考訳（メタデータ） (2024-02-05T12:56:22Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• On Guiding Visual Attention with Language Specification [76.08326100891571]
  注意をそらすのではなく,タスク関連機能に分類証拠を限定するためのアドバイスとして,ハイレベルな言語仕様を用いる。 この方法で空間的注意を監督することは、偏りのあるノイズのあるデータを用いた分類タスクの性能を向上させる。
  論文  参考訳（メタデータ） (2022-02-17T22:40:19Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)
• Larger-Context Tagging: When and Why Does It Work? [55.407651696813396]
  一般的な戦略として、より大規模なコンテキストトレーニングがいつ、なぜ機能するのかを調査することに注力する。 4つのタグ付けタスクと13のデータセットに基づいてテストベッドを設定しました。
  論文  参考訳（メタデータ） (2021-04-09T15:35:30Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations [4.36561468436181]
  教師なしテキスト表現のためのDeCLUTR: Deep Contrastive Learningを提案する。 本手法は,ユニバーサル文エンコーダにおける教師なしと教師なしの事前学習のパフォーマンスギャップを埋めるものである。 私たちのコードと事前訓練されたモデルは公開されており、新しいドメインに簡単に適応したり、目に見えないテキストを埋め込むのに使えます。
  論文  参考訳（メタデータ） (2020-06-05T20:00:28Z)
• Quantifying the Contextualization of Word Representations with Semantic Class Probing [8.401007663676214]
  事前訓練された言語モデルは、多くのNLPタスクにおいて、新しい最先端技術を実現している。 単語のセマンティッククラスが文脈化された埋め込みから推測できる範囲を研究することにより、文脈化の量、すなわち、単語が文脈内でどのように解釈されるかの定量化を行う。
  論文  参考訳（メタデータ） (2020-04-25T17:49:37Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。