論文の概要: Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings

• arxiv url: http://arxiv.org/abs/2204.12386v1
• Date: Tue, 26 Apr 2022 15:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 12:15:42.955995
• Title: Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
• Title（参考訳）: ソース埋め込みの教師なし重み付き連結によるメタ単語埋め込みの学習
• Authors: Danushka Bollegala
• Abstract要約: 重み付き結合は,各ソース埋め込みとメタ埋め込みのスペクトルマッチング操作と見なすことができる。 メタエンベディング作成のための最適連結重みを学習するための2つのインフン教師手法を提案する。
• 参考スコア（独自算出の注目度）: 15.900069711477542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given multiple source word embeddings learnt using diverse algorithms and lexical resources, meta word embedding learning methods attempt to learn more accurate and wide-coverage word embeddings. Prior work on meta-embedding has repeatedly discovered that simple vector concatenation of the source embeddings to be a competitive baseline. However, it remains unclear as to why and when simple vector concatenation can produce accurate meta-embeddings. We show that weighted concatenation can be seen as a spectrum matching operation between each source embedding and the meta-embedding, minimising the pairwise inner-product loss. Following this theoretical analysis, we propose two \emph{unsupervised} methods to learn the optimal concatenation weights for creating meta-embeddings from a given set of source embeddings. Experimental results on multiple benchmark datasets show that the proposed weighted concatenated meta-embedding methods outperform previously proposed meta-embedding learning methods.
• Abstract（参考訳）: 複数のソースワード埋め込みが多様なアルゴリズムと語彙リソースを使って学習すると、メタワード埋め込み学習手法は、より正確で広範囲の単語埋め込みを学習しようとする。 メタ埋め込みに関する以前の研究は、ソース埋め込みの単純なベクトル連結が競合するベースラインになることを何度も発見してきた。 しかし、なぜ、いつ単純なベクトル結合が正確なメタ埋め込みを生成するのかは、まだ不明である。 重み付き結合は,各ソース埋め込みとメタ埋め込みのスペクトル整合操作と見なすことができ,両者の内積損失を最小化することができる。 この理論解析に続いて、与えられたソース埋め込みからメタ埋め込みを生成するための最適結合重みを学習するための2つのemph{unsupervised}法を提案する。 複数のベンチマークデータセットによる実験結果から,提案手法は従来提案したメタ埋め込み学習法よりも優れていた。

関連論文リスト

• Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment [69.67015515485349]
  本稿では,条件付き確率分布を埋め込んだコントラスト学習手法であるAutoRegEmbedを提案する。 本手法は従来のコントラスト学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-17T03:36:25Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• Scalable Multi-phase Word Embedding Using Conjunctive Propositional Clauses [14.088007380798635]
  入力シーケンスの文脈埋め込みを発見するために,2相学習を取り入れた新しい手法を提案する。 この技術はスケーラブルなモデルの設計を促進するだけでなく、解釈可能性も維持する。 実験の結果,提案手法は従来の手法と比較して競争性能が高いことがわかった。
  論文  参考訳（メタデータ） (2025-01-31T10:39:04Z)
• Coarse-to-Fine Lightweight Meta-Embedding for ID-Based Recommendation [13.732081010190962]
  我々は,各ユーザとアイテムがノードとして機能する,新しいグラフニューラルネットワーク(GNN)ベースのレコメンデータを開発した。 粗粒のセマンティクスとは対照的に、きめ細かいセマンティクスはスパースメタ埋め込みによってよく捉えられる。 本稿では,ユーザ/イテムのセマンティクスに基づいて,各粗粒度メタエンベディングと細粒度メタエムとをマッチングすることに焦点を当てた重量ブリッジ更新戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-21T03:56:23Z)
• Cool-Fusion: Fuse Large Language Models without Training [73.17551121242602]
  emphCool-Fusionは、アンサンブルアプローチのようないかなるタイプのトレーニングも必要としないメソッドである。 emphCool-Fusionは3つの強力なLLMの精度を8%から17.8%向上させる。
  論文  参考訳（メタデータ） (2024-07-29T09:02:19Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Out-of-Manifold Regularization in Contextual Embedding Space for Text Classification [22.931314501371805]
  空間の残りの部分を見つけ、正規化するための新しいアプローチを提案します。 実際に観察された単語から得られた2つの埋め込みに基づいて, アウトオブマニフォールド埋め込みを合成する。 判別器は、入力埋め込みがマニホールド内に位置するかどうかを検出するように訓練され、同時に、ジェネレーターは、容易にマニホールド外として識別できる新しい埋め込みを生成するように最適化される。
  論文  参考訳（メタデータ） (2021-05-14T10:17:59Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Learning Efficient Task-Specific Meta-Embeddings with Word Prisms [17.288765083303243]
  本稿では,単語プリズム(Word prisms):手作業に応じてソース埋め込みを組み合わせることを学ぶ,シンプルで効率的なメタ埋め込み手法を提案する。 単語プリズムを6つの外部評価における他のメタ埋め込み法と比較して評価し、単語プリズムが全てのタスクに改善をもたらすことを観察する。
  論文  参考訳（メタデータ） (2020-11-05T16:08:50Z)
• Inferential Text Generation with Multiple Knowledge Sources and Meta-Learning [117.23425857240679]
  本研究では,テキストティフ・エルス関係のような多種多様なコモンセンスのイベントの推論テキストを生成する問題について検討する。 既存のアプローチでは、トレーニング例からの限られた証拠を使用して、個々の関係について学習するのが一般的である。 この研究では、モデルのための燃料として複数の知識ソースを使用します。
  論文  参考訳（メタデータ） (2020-04-07T01:49:18Z)
• A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings [10.871587311621974]
  本稿では,モノリンガルおよびクロスリンガルなメタ埋め込みを作成するための新しい手法を提案する。 既存のワードベクトルは線形変換と平均化を用いて共通の意味空間に投影される。 結果として得られる言語間メタ埋め込みは、優れた言語間移動学習能力を示す。
  論文  参考訳（メタデータ） (2020-01-17T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。