Fugu-MT 論文翻訳(概要): Autoencoding Improves Pre-trained Word Embeddings

論文の概要: Autoencoding Improves Pre-trained Word Embeddings

arxiv url: http://arxiv.org/abs/2010.13094v2
Date: Tue, 27 Oct 2020 07:51:34 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 04:39:47.628111
Title: Autoencoding Improves Pre-trained Word Embeddings
Title（参考訳）: 事前学習された単語の埋め込みを改善する自動エンコーディング
Authors: Masahiro Kaneko and Danushka Bollegala
Abstract要約: 最上位成分の保持は,事前学習した単語の埋め込みを改善するのに有用であることを示す。理論的な主張を実験的に検証し、最上位の主成分を維持することは、訓練済みの単語埋め込みを改善するのに本当に有用であることを示す。
参考スコア（独自算出の注目度）: 26.464097783864926
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prior work investigating the geometry of pre-trained word embeddings have shown that word embeddings to be distributed in a narrow cone and by centering and projecting using principal component vectors one can increase the accuracy of a given set of pre-trained word embeddings. However, theoretically, this post-processing step is equivalent to applying a linear autoencoder to minimise the squared l2 reconstruction error. This result contradicts prior work (Mu and Viswanath, 2018) that proposed to remove the top principal components from pre-trained embeddings. We experimentally verify our theoretical claims and show that retaining the top principal components is indeed useful for improving pre-trained word embeddings, without requiring access to additional linguistic resources or labelled data.
Abstract（参考訳）: 事前学習された単語埋め込みの幾何学に関する先行研究は、単語埋め込みを狭い円錐に分散させ、主成分ベクトルを用いて中心的かつ投影することで、所定の事前学習された単語埋め込みの精度を高めることができることを示した。しかし、理論的には、この後処理ステップは平方l2再構成誤差を最小限に抑える線形オートエンコーダと等価である。この結果は、事前訓練された埋め込みから主要なコンポーネントを取り除くことを提案した以前の作業(Mu と Viswanath, 2018)と矛盾する。理論的な主張を実験的に検証し,言語資源やラベル付きデータへのアクセスを必要とせず,事前学習した単語の埋め込みを改善する上で,主成分の保持が本当に有用であることを示す。

関連論文リスト

How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
論文参考訳（メタデータ） (2024-06-05T08:51:08Z)
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文参考訳（メタデータ） (2024-03-30T15:29:49Z)
Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings [39.30342855873457]
より文脈的な情報をSkip-gramフレームワークに組み込むことで、単語の埋め込みを改善することを目指している。我々の手法は、基準線を大きなマージンで上回ることがよく証明されている。
論文参考訳（メタデータ） (2022-10-30T14:15:43Z)
TransDrift: Modeling Word-Embedding Drift using Transformer [8.707217592903735]
単語埋め込みのための変換器に基づく予測モデルであるTransDriftを提案する。我々のモデルは埋め込みドリフトの力学を正確に学習し、将来の埋め込みを予測する。私たちの埋め込みは、以前の方法よりも優れたパフォーマンスをもたらします。
論文参考訳（メタデータ） (2022-06-16T10:48:26Z)
Out-of-Manifold Regularization in Contextual Embedding Space for Text Classification [22.931314501371805]
空間の残りの部分を見つけ、正規化するための新しいアプローチを提案します。実際に観察された単語から得られた2つの埋め込みに基づいて, アウトオブマニフォールド埋め込みを合成する。判別器は、入力埋め込みがマニホールド内に位置するかどうかを検出するように訓練され、同時に、ジェネレーターは、容易にマニホールド外として識別できる新しい埋め込みを生成するように最適化される。
論文参考訳（メタデータ） (2021-05-14T10:17:59Z)
Dictionary-based Debiasing of Pre-trained Word Embeddings [28.378270372391498]
予め訓練された単語埋め込みを辞書で解読する手法を提案する。提案手法では,単語リストの形で事前に定義するバイアスの種類は必要としない。標準ベンチマークデータセットの実験結果から,前訓練された単語埋め込みにエンコードされた不公平なバイアスを正確に除去できることが示された。
論文参考訳（メタデータ） (2021-01-23T15:44:23Z)
Bi-tuning of Pre-trained Representations [79.58542780707441]
Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
論文参考訳（メタデータ） (2020-11-12T03:32:25Z)
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms [17.288765083303243]
本稿では,単語プリズム(Word prisms):手作業に応じてソース埋め込みを組み合わせることを学ぶ,シンプルで効率的なメタ埋め込み手法を提案する。単語プリズムを6つの外部評価における他のメタ埋め込み法と比較して評価し、単語プリズムが全てのタスクに改善をもたらすことを観察する。
論文参考訳（メタデータ） (2020-11-05T16:08:50Z)
Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文参考訳（メタデータ） (2020-10-10T14:03:20Z)
Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文参考訳（メタデータ） (2020-05-18T06:04:58Z)
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。