論文の概要: Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of
Source Embeddings
- arxiv url: http://arxiv.org/abs/2204.12386v1
- Date: Tue, 26 Apr 2022 15:41:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 12:15:42.955995
- Title: Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of
Source Embeddings
- Title（参考訳）: ソース埋め込みの教師なし重み付き連結によるメタ単語埋め込みの学習
- Authors: Danushka Bollegala
- Abstract要約: 重み付き結合は,各ソース埋め込みとメタ埋め込みのスペクトルマッチング操作と見なすことができる。
メタエンベディング作成のための最適連結重みを学習するための2つのインフン教師手法を提案する。
- 参考スコア（独自算出の注目度）: 15.900069711477542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given multiple source word embeddings learnt using diverse algorithms and
lexical resources, meta word embedding learning methods attempt to learn more
accurate and wide-coverage word embeddings.
Prior work on meta-embedding has repeatedly discovered that simple vector
concatenation of the source embeddings to be a competitive baseline.
However, it remains unclear as to why and when simple vector concatenation
can produce accurate meta-embeddings.
We show that weighted concatenation can be seen as a spectrum matching
operation between each source embedding and the meta-embedding, minimising the
pairwise inner-product loss.
Following this theoretical analysis, we propose two \emph{unsupervised}
methods to learn the optimal concatenation weights for creating meta-embeddings
from a given set of source embeddings.
Experimental results on multiple benchmark datasets show that the proposed
weighted concatenated meta-embedding methods outperform previously proposed
meta-embedding learning methods.
- Abstract（参考訳）: 複数のソースワード埋め込みが多様なアルゴリズムと語彙リソースを使って学習すると、メタワード埋め込み学習手法は、より正確で広範囲の単語埋め込みを学習しようとする。
メタ埋め込みに関する以前の研究は、ソース埋め込みの単純なベクトル連結が競合するベースラインになることを何度も発見してきた。
しかし、なぜ、いつ単純なベクトル結合が正確なメタ埋め込みを生成するのかは、まだ不明である。
重み付き結合は,各ソース埋め込みとメタ埋め込みのスペクトル整合操作と見なすことができ,両者の内積損失を最小化することができる。
この理論解析に続いて、与えられたソース埋め込みからメタ埋め込みを生成するための最適結合重みを学習するための2つのemph{unsupervised}法を提案する。
複数のベンチマークデータセットによる実験結果から,提案手法は従来提案したメタ埋め込み学習法よりも優れていた。
関連論文リスト
- Cool-Fusion: Fuse Large Language Models without Training [73.17551121242602]
emphCool-Fusionは、アンサンブルアプローチのようないかなるタイプのトレーニングも必要としないメソッドである。
emphCool-Fusionは3つの強力なLLMの精度を8%から17.8%向上させる。
論文 参考訳（メタデータ） (2024-07-29T09:02:19Z) - Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。
モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。
提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文 参考訳（メタデータ） (2024-02-28T16:35:52Z) - Context-Aware Ensemble Learning for Time Series [11.716677452529114]
本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。
我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
論文 参考訳（メタデータ） (2022-11-30T10:36:13Z) - LexSubCon: Integrating Knowledge from Lexical Resources into Contextual
Embeddings for Lexical Substitution [76.615287796753]
本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。
これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。
我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-11T21:25:56Z) - Out-of-Manifold Regularization in Contextual Embedding Space for Text
Classification [22.931314501371805]
空間の残りの部分を見つけ、正規化するための新しいアプローチを提案します。
実際に観察された単語から得られた2つの埋め込みに基づいて, アウトオブマニフォールド埋め込みを合成する。
判別器は、入力埋め込みがマニホールド内に位置するかどうかを検出するように訓練され、同時に、ジェネレーターは、容易にマニホールド外として識別できる新しい埋め込みを生成するように最適化される。
論文 参考訳（メタデータ） (2021-05-14T10:17:59Z) - SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。
BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
論文 参考訳（メタデータ） (2020-12-30T15:38:26Z) - Learning Efficient Task-Specific Meta-Embeddings with Word Prisms [17.288765083303243]
本稿では,単語プリズム(Word prisms):手作業に応じてソース埋め込みを組み合わせることを学ぶ,シンプルで効率的なメタ埋め込み手法を提案する。
単語プリズムを6つの外部評価における他のメタ埋め込み法と比較して評価し、単語プリズムが全てのタスクに改善をもたらすことを観察する。
論文 参考訳（メタデータ） (2020-11-05T16:08:50Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - Optimally Combining Classifiers for Semi-Supervised Learning [43.77365242185884]
本稿では,Xgboostとトランスダクティブ支援ベクトルマシンの長所を適応的に組み合わせた半教師付き学習手法を提案する。
UCIデータセットと実商業データセットの実験結果から,提案手法の5つの最先端アルゴリズムよりも優れた分類性能を示した。
論文 参考訳（メタデータ） (2020-06-07T09:28:34Z) - Inferential Text Generation with Multiple Knowledge Sources and
Meta-Learning [117.23425857240679]
本研究では,テキストティフ・エルス関係のような多種多様なコモンセンスのイベントの推論テキストを生成する問題について検討する。
既存のアプローチでは、トレーニング例からの限られた証拠を使用して、個々の関係について学習するのが一般的である。
この研究では、モデルのための燃料として複数の知識ソースを使用します。
論文 参考訳（メタデータ） (2020-04-07T01:49:18Z) - A Common Semantic Space for Monolingual and Cross-Lingual
Meta-Embeddings [10.871587311621974]
本稿では,モノリンガルおよびクロスリンガルなメタ埋め込みを作成するための新しい手法を提案する。
既存のワードベクトルは線形変換と平均化を用いて共通の意味空間に投影される。
結果として得られる言語間メタ埋め込みは、優れた言語間移動学習能力を示す。
論文 参考訳（メタデータ） (2020-01-17T15:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。