論文の概要: A Survey on Word Meta-Embedding Learning

• arxiv url: http://arxiv.org/abs/2204.11660v1
• Date: Mon, 25 Apr 2022 13:51:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 12:11:55.349123
• Title: A Survey on Word Meta-Embedding Learning
• Title（参考訳）: 単語メタ埋め込み学習に関する調査
• Authors: Danushka Bollegala and James O'Neill
• Abstract要約: メタ埋め込み(ME)学習は、既存の(ソース)単語の埋め込みを唯一の入力として与えられたより正確な単語埋め込みを学習しようとする新しいアプローチである。 我々は、(a)静的または文脈的埋め込みで操作するか、(b)教師なしの方法で訓練されたか、(c)特定のタスク/ドメインのために微調整されたか、といった複数の要因に基づいて、ME学習手法を分類する。
• 参考スコア（独自算出の注目度）: 18.450970291186653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-embedding (ME) learning is an emerging approach that attempts to learn more accurate word embeddings given existing (source) word embeddings as the sole input. Due to their ability to incorporate semantics from multiple source embeddings in a compact manner with superior performance, ME learning has gained popularity among practitioners in NLP. To the best of our knowledge, there exist no prior systematic survey on ME learning and this paper attempts to fill this need. We classify ME learning methods according to multiple factors such as whether they (a) operate on static or contextualised embeddings, (b) trained in an unsupervised manner or (c) fine-tuned for a particular task/domain. Moreover, we discuss the limitations of existing ME learning methods and highlight potential future research directions.
• Abstract（参考訳）: メタ埋め込み(ME)学習は、既存の(ソース)単語の埋め込みを唯一の入力として与えられたより正確な単語埋め込みを学習しようとする新しいアプローチである。 複数のソース埋め込みのセマンティクスを、優れたパフォーマンスでコンパクトに組み込むことができるため、ME学習はNLPの実践者の間で人気を博している。 私たちの知る限りでは、ME学習に関する事前の体系的な調査は存在せず、本論文はこのニーズを満たそうとしている。 我々は,ME学習手法を複数の要因により分類する。 a) 静的または文脈化された埋め込みを操作する。 (b)教師なしの訓練又は (c)特定のタスク/ドメインを微調整する。 さらに,既存のme学習手法の限界を議論し,今後の研究の方向性を強調する。

関連論文リスト

• Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
  基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。 しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。 従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
  論文  参考訳（メタデータ） (2024-05-28T23:32:46Z)
• FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge [54.61068946420894]
  FEature Context と TErm レベルの知識モジュールを導入して,革新的な手法を提案する。 項重みの特徴コンテキスト表現を効果的に強化するために、FCM(Feature Context Module)が導入された。 また,用語レベルの知識を効果的に活用し,用語重みのモデル化プロセスをインテリジェントに導くための用語レベルの知識誘導モジュール(TKGM)を開発した。
  論文  参考訳（メタデータ） (2024-04-18T12:58:36Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Trajectory-Based Meta-Learning for Out-Of-Vocabulary Word Embedding Learning [15.581515781839656]
  訓練コーパスに現れない語彙外(OOV)単語は、より小さな下流データに頻繁に現れる。 最近の研究は、oov埋め込み学習を数発回帰問題として定式化した。 モデルに依存しないメタラーニング(MAML)は、パラメータ更新に多数の勾配ステップを使用すると不安定であることが知られ、さらに悪化する。 本稿では,開始点と終了点だけでなく,学習プロセス全体の軌道を利用するメタ学習アルゴリズムであるLeapを提案する。
  論文  参考訳（メタデータ） (2021-02-24T12:57:58Z)
• Meta-Learning in Neural Networks: A Survey [4.588028371034406]
  本調査では,現代メタラーニングの展望について述べる。 まずメタラーニングの定義について議論し、関連する分野について位置づける。 そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2020-04-11T16:34:24Z)
• Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning [74.07455280246212]
  継続的な学習は、新しいタスクに適応しながら、以前のタスクを忘れずにタスクの流れから学ぶエージェントを研究する。 この新たなシナリオでは、現在の連続学習、メタ学習、メタ連続学習、および連続メタ学習技術が失敗することを示します。 本稿では,このシナリオの強力なベースラインとして,人気のあるMAMLアルゴリズムのオンライン拡張であるContinual-MAMLを提案する。
  論文  参考訳（メタデータ） (2020-03-12T15:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。