Fugu-MT 論文翻訳(概要): k\=oan: A Corrected CBOW Implementation

論文の概要: k\=oan: A Corrected CBOW Implementation

arxiv url: http://arxiv.org/abs/2012.15332v1
Date: Wed, 30 Dec 2020 21:37:28 GMT
ステータス: 処理完了
システム内更新日: 2021-04-18 09:06:21.870406
Title: k\=oan: A Corrected CBOW Implementation
Title（参考訳）: k\=oan: 修正CBOW実装
Authors: Ozan \.Irsoy, Adrian Benton, Karl Stratos
Abstract要約: NLPコミュニティでは、単語埋め込み(CBOW)がスキップグラム(SG)の埋め込みに劣る傾向があるという共通の信念がある。 CBOWの正しい実装は、SGと完全に競合する単語埋め込みを様々な本質的および外因的タスクにもたらすことを示しています。
参考スコア（独自算出の注目度）: 22.622641633696634
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: It is a common belief in the NLP community that continuous bag-of-words (CBOW) word embeddings tend to underperform skip-gram (SG) embeddings. We find that this belief is founded less on theoretical differences in their training objectives but more on faulty CBOW implementations in standard software libraries such as the official implementation word2vec.c and Gensim. We show that our correct implementation of CBOW yields word embeddings that are fully competitive with SG on various intrinsic and extrinsic tasks while being more than three times as fast to train. We release our implementation, k\=oan, at https://github.com/bloomberg/koan.
Abstract（参考訳）: NLPコミュニティでは、CBOW(continuous bag-of-words)ワードの埋め込みがスキップグラム(SG)埋め込みを過小評価する傾向にあるという共通認識がある。この信念は、トレーニング目標の理論的差異よりも、公式実装の word2vec.c や Gensim などの標準ソフトウェアライブラリにおけるCBOW実装の欠陥に基づいていることが分かる。 CBOWの正しい実装は、学習の3倍以上の速さで、様々な本質的・外生的なタスクにおいてSGと完全に競合する単語埋め込みをもたらすことを示す。私たちは実装であるk\=oanをhttps://github.com/bloomberg/koan.comでリリースします。

関連論文リスト

SVTRv2: CTC Beats Encoder-Decoder Models in Scene Text Recognition [77.28814034644287]
CTCモデルであるSVTRv2を提案する。 SVTRv2は、テキストの不規則性に対処し、言語コンテキストを利用するための新しいアップグレードを導入した。我々は,SVTRv2を標準ベンチマークと最近のベンチマークの両方で評価した。
論文参考訳（メタデータ） (2024-11-24T14:21:35Z)
Just-In-Time Software Defect Prediction via Bi-modal Change Representation Learning [5.04327119462716]
本稿では, BiCC-BERT と呼ばれる新しいバイモーダル変更事前学習モデルを提案する。 BiCC-BERTは、バイモーダルなセマンティック表現を学ぶために、コード変更コーパスで事前訓練される。 27,391コードの変更を使用してJIT-BiCCをトレーニングし、そのパフォーマンスを8つの最先端JIT-DPアプローチと比較する。
論文参考訳（メタデータ） (2024-10-15T23:13:29Z)
Towards Understanding Why FixMatch Generalizes Better Than Supervised Learning [97.1805039692731]
半教師付き学習(SSL)は、教師付き学習(SL)よりも大幅に一般化されている。ディープニューラルネットワーク(DNN)に適用したFixMatchライクSSLで観測されたテスト精度向上のための最初の理論的正当性を示す。分析フレームワークはFlexMatch、FreeMatch、Dash、SoftMatchといった他のFixMatchライクなSSLメソッドにも適用可能であることを示す。
論文参考訳（メタデータ） (2024-10-15T02:47:57Z)
When simplicity meets effectiveness: Detecting code comments coherence with word embeddings and LSTM [6.417777780911223]
コードコメントは、プログラマに実用的な情報を提供するため、ソフトウェア開発において重要な役割を果たす。開発者はコードを更新した後、コメントをそのまま残す傾向があり、2つのアーティファクトの間に相違が生じます。コードスニペットが与えられたら、そのコメントが一貫性があり、コードの背後にある意図をよく反映しているかどうかを特定することが重要です。
論文参考訳（メタデータ） (2024-05-25T15:21:27Z)
CTC-based Non-autoregressive Speech Translation [51.37920141751813]
非自己回帰音声翻訳における接続性時間分類の可能性について検討する。我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
論文参考訳（メタデータ） (2023-05-27T03:54:09Z)
SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking [48.12125502456953]
本稿では,中国のスペルチェックタスクにBERTを適用するためのトークンレベルの自己蒸留コントラスト学習手法を提案する。コントラスト学習損失を用いて、不正なトークンの隠された状態を正規化し、正しい文でそれに近いものにします。
論文参考訳（メタデータ） (2022-10-31T09:29:21Z)
Benchmarking Constraint Inference in Inverse Reinforcement Learning [19.314352936252444]
多くの実世界の問題において、専門家が従う制約は、RLエージェントに数学的に、未知に指定することがしばしば困難である。本稿では,ロボット制御と自律運転という2つの主要なアプリケーション領域の文脈において,CIRLベンチマークを構築する。 CIRLアルゴリズムのパフォーマンスを再現するための情報を含むこのベンチマークは、https://github.com/Guiliang/CIRL-benchmarks-publicで公開されている。
論文参考訳（メタデータ） (2022-06-20T09:22:20Z)
Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文参考訳（メタデータ） (2020-06-15T17:06:17Z)
Improved Algorithms for Conservative Exploration in Bandits [113.55554483194832]
文脈線形帯域設定における保守的学習問題について検討し、新しいアルゴリズムである保守的制約付きLinUCB(CLUCB2)を導入する。我々は、既存の結果と一致したCLUCB2に対する後悔の限界を導き、多くの合成および実世界の問題において、最先端の保守的バンディットアルゴリズムよりも優れていることを実証的に示す。
論文参考訳（メタデータ） (2020-02-08T19:35:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。