Fugu-MT 論文翻訳(概要): Obtaining Better Static Word Embeddings Using Contextual Embedding Models

論文の概要: Obtaining Better Static Word Embeddings Using Contextual Embedding Models

arxiv url: http://arxiv.org/abs/2106.04302v1
Date: Tue, 8 Jun 2021 12:59:32 GMT
ステータス: 処理完了
システム内更新日: 2021-06-10 00:59:28.408619
Title: Obtaining Better Static Word Embeddings Using Contextual Embedding Models
Title（参考訳）: 文脈埋め込みモデルを用いた静的な単語埋め込みの改善
Authors: Prakhar Gupta and Martin Jaggi
Abstract要約: 提案手法はCBOWをベースとした簡易な蒸留法である。副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
参考スコア（独自算出の注目度）: 53.86080627007695
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The advent of contextual word embeddings -- representations of words which incorporate semantic and syntactic information from their context -- has led to tremendous improvements on a wide variety of NLP tasks. However, recent contextual models have prohibitively high computational cost in many use-cases and are often hard to interpret. In this work, we demonstrate that our proposed distillation method, which is a simple extension of CBOW-based training, allows to significantly improve computational efficiency of NLP applications, while outperforming the quality of existing static embeddings trained from scratch as well as those distilled from previously proposed methods. As a side-effect, our approach also allows a fair comparison of both contextual and static embeddings via standard lexical evaluation tasks.
Abstract（参考訳）: 文脈的単語埋め込みの出現 -- 文脈からの意味的情報と構文的情報を含む単語の表現 -- は、幅広いNLPタスクに多大な改善をもたらした。しかし、最近の文脈モデルは多くのユースケースにおいて計算コストが著しく高く、しばしば解釈が難しい。本研究では, CBOW をベースとした簡易な蒸留法により, NLP アプリケーションの計算効率を大幅に向上させることができるとともに, スクラッチからトレーニングした既存の静的埋め込みの品質や, 従来提案した蒸留方法よりも優れていることを示す。副次的な効果として,標準的な語彙評価タスクによる文脈的および静的な埋め込みを公平に比較できる。

関連論文リスト

Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
論文参考訳（メタデータ） (2024-10-08T16:16:47Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
Free Lunch for Efficient Textual Commonsense Integration in Language Models [20.02647320786556]
類似したコモンセンス記述を持つサンプルを1つのバッチにグループ化し、複数のサンプル間でエンコードされた記述を再利用する。大規模な実験では、提案したバッチ分割手法が性能を保ちながら計算コストを効果的に削減することを示した。効率の改善は、大規模なデータセットや、メモリ容量の大きいデバイスでより顕著であり、大規模なアプリケーションに実用性があることを証明している。
論文参考訳（メタデータ） (2023-05-24T19:14:57Z)
Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings [39.30342855873457]
より文脈的な情報をSkip-gramフレームワークに組み込むことで、単語の埋め込みを改善することを目指している。我々の手法は、基準線を大きなマージンで上回ることがよく証明されている。
論文参考訳（メタデータ） (2022-10-30T14:15:43Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Denoising Word Embeddings by Averaging in a Shared Space [34.175826109538676]
単語埋め込みの品質を円滑にし,改善するための新しい手法を提案する。一般化プロクリスト解析(GPA)手法の効率的な実装を用いて,すべてのモデルを共有ベクトル空間に投影する。新しい表現はより安定し信頼性が高いため、稀な単語評価において顕著な改善がある。
論文参考訳（メタデータ） (2021-06-05T19:49:02Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文参考訳（メタデータ） (2021-01-02T01:15:57Z)
Analysis and Evaluation of Language Models for Word Sense Disambiguation [18.001457030065712]
トランスフォーマーベースの言語モデルは、嵐によってNLPの多くの分野を取り込んでいる。 BERTは、ワードセンス毎に限られた数のサンプルが利用できる場合でも、高いレベルの感覚の区別を正確に捉えることができる。 BERTとその派生種は既存の評価ベンチマークの大部分を支配している。
論文参考訳（メタデータ） (2020-08-26T15:07:07Z)
SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。