論文の概要: Word2rate: training and evaluating multiple word embeddings as
statistical transitions
- arxiv url: http://arxiv.org/abs/2104.08173v1
- Date: Fri, 16 Apr 2021 15:31:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 18:04:59.217125
- Title: Word2rate: training and evaluating multiple word embeddings as
statistical transitions
- Title（参考訳）: Word2rate:統計遷移としての複数単語埋め込みの訓練と評価
- Authors: Gary Phua, Shaowei Lin, Dario Poletti
- Abstract要約: 単語順に敏感なタスクのパフォーマンスを向上させる,新しい左サイドコンテキスト分割目標を提案する。
私たちの word2rate モデルは、さまざまな言語タスクで競争しながら、レート行列を用いた統計基礎に基礎を置いている。
- 参考スコア（独自算出の注目度）: 4.350783459690612
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Using pretrained word embeddings has been shown to be a very effective way in
improving the performance of natural language processing tasks. In fact almost
any natural language tasks that can be thought of has been improved by these
pretrained embeddings. These tasks range from sentiment analysis, translation,
sequence prediction amongst many others. One of the most successful word
embeddings is the Word2vec CBOW model proposed by Mikolov trained by the
negative sampling technique. Mai et al. modifies this objective to train CMOW
embeddings that are sensitive to word order. We used a modified version of the
negative sampling objective for our context words, modelling the context
embeddings as a Taylor series of rate matrices. We show that different modes of
the Taylor series produce different types of embeddings. We compare these
embeddings to their similar counterparts like CBOW and CMOW and show that they
achieve comparable performance. We also introduce a novel left-right context
split objective that improves performance for tasks sensitive to word order.
Our Word2rate model is grounded in a statistical foundation using rate matrices
while being competitive in variety of language tasks.
- Abstract（参考訳）: 事前訓練された単語埋め込みは、自然言語処理タスクの性能向上に非常に効果的な方法であることが示されている。
実際、考慮できるほぼすべての自然言語タスクは、これらの事前学習された埋め込みによって改善されました。
これらのタスクは感情分析、翻訳、シーケンス予測など多岐にわたる。
最も成功した単語埋め込みの1つは、ミコロフによって提案されたWord2vec CBOWモデルである。
マイなど。
単語順に敏感なCMOW埋め込みをトレーニングするために、この目的を変更する。
我々は文脈単語に対して負サンプリング対象の修正版を使用し、文脈埋め込みをレート行列のテイラー級数としてモデル化した。
テイラー級数の異なるモードが異なる種類の埋め込みを生成することを示す。
これらの埋め込みをCBOWやCMOWのような類似の埋め込みと比較し、同等のパフォーマンスを実現していることを示す。
また、単語順に敏感なタスクのパフォーマンスを向上させる新しい左サイドコンテキスト分割目的も導入する。
私たちの word2rate モデルは、さまざまな言語タスクで競争しながら、レート行列を用いた統計基礎に基礎を置いている。
関連論文リスト
- Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳（メタデータ） (2024-10-14T08:45:35Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - TransDrift: Modeling Word-Embedding Drift using Transformer [8.707217592903735]
単語埋め込みのための変換器に基づく予測モデルであるTransDriftを提案する。
我々のモデルは埋め込みドリフトの力学を正確に学習し、将来の埋め込みを予測する。
私たちの埋め込みは、以前の方法よりも優れたパフォーマンスをもたらします。
論文 参考訳（メタデータ） (2022-06-16T10:48:26Z) - 1Cademy at Semeval-2022 Task 1: Investigating the Effectiveness of
Multilingual, Multitask, and Language-Agnostic Tricks for the Reverse
Dictionary Task [13.480318097164389]
本稿では,SemEval2022タスクの逆辞書トラックに着目し,単語の埋め込みと辞書のグルースをマッチングする。
モデルは文の入力をSGNS、Char、Electraの3種類の埋め込みに変換する。
提案するElmoベースの単言語モデルが最も高い結果を得る。
論文 参考訳（メタデータ） (2022-06-08T06:39:04Z) - Learning to Remove: Towards Isotropic Pre-trained BERT Embedding [7.765987411382461]
単語表現の研究は、等方的埋め込みが下流タスクの性能を大幅に改善できることを示している。
事前に訓練されたBERT埋め込みのジオメトリを測定し、分析し、等方性とは程遠いことを見つけます。
この問題を解決するためのシンプルで効果的な方法を提案する:学習可能な重みのセットでBERT埋め込みのいくつかの支配的な方向を削除します。
論文 参考訳（メタデータ） (2021-04-12T08:13:59Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳（メタデータ） (2021-03-31T09:05:43Z) - Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文 参考訳（メタデータ） (2021-01-30T18:59:43Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z) - Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。
我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
論文 参考訳（メタデータ） (2020-09-30T02:33:09Z) - Word Embeddings: Stability and Semantic Change [0.0]
本稿では,過去10年で最も影響力のある埋め込み技術である word2vec, GloVe, fastText のトレーニングプロセスの不安定性について実験的に検討する。
本稿では,埋め込み手法の不安定性を記述する統計モデルを提案し,個々の単語の表現の不安定性を測定するための新しい指標を提案する。
論文 参考訳（メタデータ） (2020-07-23T16:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。