論文の概要: Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
- arxiv url: http://arxiv.org/abs/2011.02944v1
- Date: Thu, 5 Nov 2020 16:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-09-29 11:57:29.914519
- Title: Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
- Title（参考訳）: 単語プリズムを用いたタスク特化メタ埋め込みの学習
- Authors: Jingyi He, KC Tsiolis, Kian Kenyon-Dean, Jackie Chi Kit Cheung
- Abstract要約: 本稿では,単語プリズム(Word prisms):手作業に応じてソース埋め込みを組み合わせることを学ぶ,シンプルで効率的なメタ埋め込み手法を提案する。
単語プリズムを6つの外部評価における他のメタ埋め込み法と比較して評価し、単語プリズムが全てのタスクに改善をもたらすことを観察する。
- 参考スコア（独自算出の注目度）: 17.288765083303243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Word embeddings are trained to predict word cooccurrence statistics, which
leads them to possess different lexical properties (syntactic, semantic, etc.)
depending on the notion of context defined at training time. These properties
manifest when querying the embedding space for the most similar vectors, and
when used at the input layer of deep neural networks trained to solve
downstream NLP problems. Meta-embeddings combine multiple sets of differently
trained word embeddings, and have been shown to successfully improve intrinsic
and extrinsic performance over equivalent models which use just one set of
source embeddings. We introduce word prisms: a simple and efficient
meta-embedding method that learns to combine source embeddings according to the
task at hand. Word prisms learn orthogonal transformations to linearly combine
the input source embeddings, which allows them to be very efficient at
inference time. We evaluate word prisms in comparison to other meta-embedding
methods on six extrinsic evaluations and observe that word prisms offer
improvements in performance on all tasks.
- Abstract（参考訳）: 単語埋め込みは単語共起統計を予測するために訓練され、訓練時に定義された文脈の概念によって異なる語彙的特性(統語論、意味論など)を持つ。
これらの特性は、最も類似したベクトルに対する埋め込み空間のクエリや、下流のNLP問題を解決するためにトレーニングされたディープニューラルネットワークの入力層で使用されるときに現れる。
メタ埋め込みは、複数の異なる訓練された単語埋め込みを組み合わせ、単一のソース埋め込みのみを使用する等価モデルよりも本質的および外生的な性能を改善することが示されている。
本稿では,単語プリズム(Word prisms):手作業に応じてソース埋め込みを組み合わせることを学ぶ,シンプルで効率的なメタ埋め込み手法を提案する。
単語プリズムは直交変換を学び、入力源の埋め込みを線形に組み合わせ、推論時に非常に効率的にすることができる。
単語プリズムを6つの外部評価における他のメタ埋め込み法と比較して評価し、単語プリズムが全てのタスクのパフォーマンス改善をもたらすことを観察する。
関連論文リスト
- Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳（メタデータ） (2023-10-24T06:15:15Z) - Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of
Source Embeddings [15.900069711477542]
重み付き結合は,各ソース埋め込みとメタ埋め込みのスペクトルマッチング操作と見なすことができる。
メタエンベディング作成のための最適連結重みを学習するための2つのインフン教師手法を提案する。
論文 参考訳（メタデータ） (2022-04-26T15:41:06Z) - LexSubCon: Integrating Knowledge from Lexical Resources into Contextual
Embeddings for Lexical Substitution [76.615287796753]
本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。
これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。
我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-11T21:25:56Z) - Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。
各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。
12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文 参考訳（メタデータ） (2020-12-30T09:11:50Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳（メタデータ） (2020-10-10T14:03:20Z) - Interactive Re-Fitting as a Technique for Improving Word Embeddings [0.0]
我々は,単語の集合を互いに近づけることで,単語の埋め込み空間の一部を調整できるようにする。
提案手法では,単語埋め込みにおける潜在的なバイアスをユーザが操作する際,選択的な後処理をトリガーし,評価することができる。
論文 参考訳（メタデータ） (2020-09-30T21:54:22Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - On the Learnability of Concepts: With Applications to Comparing Word
Embedding Algorithms [0.0]
セマンティックコンテンツを共有した単語の一覧として「概念」の概念を導入する。
まず、この概念を用いて、事前訓練された単語埋め込みにおける概念の学習可能性を測定する。
そこで我々は,様々な埋め込みアルゴリズムの相対的メリットを比較するために,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を開発した。
論文 参考訳（メタデータ） (2020-06-17T14:25:36Z) - Comparative Analysis of Word Embeddings for Capturing Word Similarities [0.0]
分散言語表現は、様々な自然言語処理タスクにおいて、言語表現において最も広く使われている技術となっている。
ディープラーニング技術に基づく自然言語処理モデルのほとんどは、単語埋め込みと呼ばれる、すでに訓練済みの分散単語表現を使用している。
適切な単語の埋め込みを選択することは 複雑な作業です なぜなら、投影された埋め込み空間は 人間にとって直感的ではないからです
論文 参考訳（メタデータ） (2020-05-08T01:16:03Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z) - A Common Semantic Space for Monolingual and Cross-Lingual
Meta-Embeddings [10.871587311621974]
本稿では,モノリンガルおよびクロスリンガルなメタ埋め込みを作成するための新しい手法を提案する。
既存のワードベクトルは線形変換と平均化を用いて共通の意味空間に投影される。
結果として得られる言語間メタ埋め込みは、優れた言語間移動学習能力を示す。
論文 参考訳（メタデータ） (2020-01-17T15:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。