論文の概要: TransDrift: Modeling Word-Embedding Drift using Transformer

• arxiv url: http://arxiv.org/abs/2206.08081v1
• Date: Thu, 16 Jun 2022 10:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:05:10.834898
• Title: TransDrift: Modeling Word-Embedding Drift using Transformer
• Title（参考訳）: transdrift:transformerを用いた単語埋め込みドリフトのモデリング
• Authors: Nishtha Madaan, Prateek Chaudhury, Nishant Kumar, Srikanta Bedathur
• Abstract要約: 単語埋め込みのための変換器に基づく予測モデルであるTransDriftを提案する。 我々のモデルは埋め込みドリフトの力学を正確に学習し、将来の埋め込みを予測する。 私たちの埋め込みは、以前の方法よりも優れたパフォーマンスをもたらします。
• 参考スコア（独自算出の注目度）: 8.707217592903735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern NLP applications, word embeddings are a crucial backbone that can be readily shared across a number of tasks. However as the text distributions change and word semantics evolve over time, the downstream applications using the embeddings can suffer if the word representations do not conform to the data drift. Thus, maintaining word embeddings to be consistent with the underlying data distribution is a key problem. In this work, we tackle this problem and propose TransDrift, a transformer-based prediction model for word embeddings. Leveraging the flexibility of transformer, our model accurately learns the dynamics of the embedding drift and predicts the future embedding. In experiments, we compare with existing methods and show that our model makes significantly more accurate predictions of the word embedding than the baselines. Crucially, by applying the predicted embeddings as a backbone for downstream classification tasks, we show that our embeddings lead to superior performance compared to the previous methods.
• Abstract（参考訳）: 現代のNLPアプリケーションでは、単語の埋め込みは多くのタスク間で簡単に共有できる重要なバックボーンである。 しかし、テキストの分布が変化し、単語のセマンティクスが時間とともに進化するにつれて、単語表現がデータドリフトに従わない場合、埋め込みを用いた下流のアプリケーションは苦しむことがある。 したがって、単語埋め込みを基盤となるデータ分散と一貫性を持たせることが重要な問題である。 本研究では,この問題に対処し,単語埋め込みのためのトランスフォーマーに基づく予測モデルであるTransDriftを提案する。 トランスフォーマの柔軟性を活かし,埋込ドリフトのダイナミクスを正確に学習し,今後の埋込予測を行う。 実験では,既存の手法と比較し,本モデルがベースラインよりもはるかに正確な単語埋め込み予測を行うことを示す。 重要な点として,予測した組込みを下流分類タスクのバックボーンとして適用することにより,組込みが従来の手法よりも優れた性能をもたらすことを示す。

関連論文リスト

• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings [68.61185138897312]
  凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。 本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
  論文  参考訳（メタデータ） (2023-05-23T01:03:40Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Word2rate: training and evaluating multiple word embeddings as statistical transitions [4.350783459690612]
  単語順に敏感なタスクのパフォーマンスを向上させる,新しい左サイドコンテキスト分割目標を提案する。 私たちの word2rate モデルは、さまざまな言語タスクで競争しながら、レート行列を用いた統計基礎に基礎を置いている。
  論文  参考訳（メタデータ） (2021-04-16T15:31:29Z)
• Statistically significant detection of semantic shifts using contextual word embeddings [7.439525715543974]
  文脈的単語埋め込みと順列に基づく統計的テストを組み合わせて意味的変化を推定する手法を提案する。 本手法の性能をシミュレーションで実証し,偽陽性を抑圧することにより,一貫して高精度に達成する。 また,SemEval-2020 Task 1 と Liverpool FC subreddit corpus の実際のデータも分析した。
  論文  参考訳（メタデータ） (2021-04-08T13:58:54Z)
• Improved Biomedical Word Embeddings in the Transformer Era [2.978663539080876]
  まずスキップグラム法を用いて単語と概念の埋め込みを学び、相関情報でさらに微調整します。 先行研究により開発された単語関連性について,複数のデータセットを用いた調律された静的組込みの評価を行う。
  論文  参考訳（メタデータ） (2020-12-22T03:03:50Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
  本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。 我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
  論文  参考訳（メタデータ） (2020-09-30T02:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。