論文の概要: k\=oan: A Corrected CBOW Implementation
- arxiv url: http://arxiv.org/abs/2012.15332v1
- Date: Wed, 30 Dec 2020 21:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-18 09:06:21.870406
- Title: k\=oan: A Corrected CBOW Implementation
- Title(参考訳): k\=oan: 修正CBOW実装
- Authors: Ozan \.Irsoy, Adrian Benton, Karl Stratos
- Abstract要約: NLPコミュニティでは、単語埋め込み(CBOW)がスキップグラム(SG)の埋め込みに劣る傾向があるという共通の信念がある。
CBOWの正しい実装は、SGと完全に競合する単語埋め込みを様々な本質的および外因的タスクにもたらすことを示しています。
- 参考スコア(独自算出の注目度): 22.622641633696634
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: It is a common belief in the NLP community that continuous bag-of-words
(CBOW) word embeddings tend to underperform skip-gram (SG) embeddings. We find
that this belief is founded less on theoretical differences in their training
objectives but more on faulty CBOW implementations in standard software
libraries such as the official implementation word2vec.c and Gensim. We show
that our correct implementation of CBOW yields word embeddings that are fully
competitive with SG on various intrinsic and extrinsic tasks while being more
than three times as fast to train. We release our implementation, k\=oan, at
https://github.com/bloomberg/koan.
- Abstract(参考訳): NLPコミュニティでは、CBOW(continuous bag-of-words)ワードの埋め込みがスキップグラム(SG)埋め込みを過小評価する傾向にあるという共通認識がある。
この信念は、トレーニング目標の理論的差異よりも、公式実装の word2vec.c や Gensim などの標準ソフトウェアライブラリにおけるCBOW実装の欠陥に基づいていることが分かる。
CBOWの正しい実装は、学習の3倍以上の速さで、様々な本質的・外生的なタスクにおいてSGと完全に競合する単語埋め込みをもたらすことを示す。
私たちは実装であるk\=oanをhttps://github.com/bloomberg/koan.comでリリースします。
関連論文リスト
- Eval-GCSC: A New Metric for Evaluating ChatGPT's Performance in Chinese
Spelling Correction [60.32771192285546]
ChatGPTは、様々な下流タスクで素晴らしいパフォーマンスを示している。
中国語のSpelling Correction(CSC)タスクでは,人間の評価ではChatGPTが良好に機能するのに対して,従来の指標では低得点であった。
本稿では,単語レベルと意味的類似性判断を取り入れた新しい評価指標であるEval-GCSCを提案する。
論文 参考訳(メタデータ) (2023-11-14T14:56:33Z) - Exploring Continual Learning for Code Generation Models [80.78036093054855]
継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。
コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。
即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
論文 参考訳(メタデータ) (2023-07-05T16:58:39Z) - CTC-based Non-autoregressive Speech Translation [51.37920141751813]
非自己回帰音声翻訳における接続性時間分類の可能性について検討する。
我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。
MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
論文 参考訳(メタデータ) (2023-05-27T03:54:09Z) - SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking [48.12125502456953]
本稿では,中国のスペルチェックタスクにBERTを適用するためのトークンレベルの自己蒸留コントラスト学習手法を提案する。
コントラスト学習損失を用いて、不正なトークンの隠された状態を正規化し、正しい文でそれに近いものにします。
論文 参考訳(メタデータ) (2022-10-31T09:29:21Z) - Benchmarking Constraint Inference in Inverse Reinforcement Learning [19.314352936252444]
多くの実世界の問題において、専門家が従う制約は、RLエージェントに数学的に、未知に指定することがしばしば困難である。
本稿では,ロボット制御と自律運転という2つの主要なアプリケーション領域の文脈において,CIRLベンチマークを構築する。
CIRLアルゴリズムのパフォーマンスを再現するための情報を含むこのベンチマークは、https://github.com/Guiliang/CIRL-benchmarks-publicで公開されている。
論文 参考訳(メタデータ) (2022-06-20T09:22:20Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:06:17Z) - Improved Algorithms for Conservative Exploration in Bandits [113.55554483194832]
文脈線形帯域設定における保守的学習問題について検討し、新しいアルゴリズムである保守的制約付きLinUCB(CLUCB2)を導入する。
我々は、既存の結果と一致したCLUCB2に対する後悔の限界を導き、多くの合成および実世界の問題において、最先端の保守的バンディットアルゴリズムよりも優れていることを実証的に示す。
論文 参考訳(メタデータ) (2020-02-08T19:35:01Z) - Computationally Efficient NER Taggers with Combined Embeddings and
Constrained Decoding [10.643105866460978]
名前付きエンティティ認識(NER)における現在の最先端モデルは、最終ネットワーク層として条件ランダムフィールド(CRF)を備えたニューラルモデルであり、事前訓練された「コンテキスト埋め込み」である。
本研究では,NERの性能を大幅に向上させる2つの簡単な手法について検討する。
2003年のCoNLLでタグをトレーニングしている間、強いパフォーマンスを犠牲にすることなく、コンテキスト埋め込みベースのタグよりも786$%のスピードアップが得られました。
論文 参考訳(メタデータ) (2020-01-05T04:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。