論文の概要: Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks

• arxiv url: http://arxiv.org/abs/2012.00633v1
• Date: Tue, 1 Dec 2020 16:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 01:54:25.275897
• Title: Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks
• Title（参考訳）: 自然言語推論のためのメタ埋め込みと意味的類似性課題
• Authors: Shree Charran R, Rahul Kumar Dubey (Senior Member IEEE)
• Abstract要約: Word Representationsは、ほぼ全ての高度な自然言語処理(NLP)アプリケーションの中核となるコンポーネントである。 本稿では,主要なNLPタスクに効率よく取り組むために,SOTA(State-of-the-Art)モデルから派生したメタ埋め込みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word Representations form the core component for almost all advanced Natural Language Processing (NLP) applications such as text mining, question-answering, and text summarization, etc. Over the last two decades, immense research is conducted to come up with one single model to solve all major NLP tasks. The major problem currently is that there are a plethora of choices for different NLP tasks. Thus for NLP practitioners, the task of choosing the right model to be used itself becomes a challenge. Thus combining multiple pre-trained word embeddings and forming meta embeddings has become a viable approach to improve tackle NLP tasks. Meta embedding learning is a process of producing a single word embedding from a given set of pre-trained input word embeddings. In this paper, we propose to use Meta Embedding derived from few State-of-the-Art (SOTA) models to efficiently tackle mainstream NLP tasks like classification, semantic relatedness, and text similarity. We have compared both ensemble and dynamic variants to identify an efficient approach. The results obtained show that even the best State-of-the-Art models can be bettered. Thus showing us that meta-embeddings can be used for several NLP tasks by harnessing the power of several individual representations.
• Abstract（参考訳）: Word Representationsは、テキストマイニング、質問回答、テキスト要約など、ほぼ全ての高度な自然言語処理(NLP)アプリケーションの中核となるコンポーネントである。 過去20年間で、すべての主要なNLPタスクを解決するために、1つのモデルを考えるという膨大な研究が行われました。 現在大きな問題は、異なるNLPタスクに多くの選択肢があることだ。 したがって、NLP実践者にとって、使用する適切なモデルを選択することが課題となる。 このように、複数の事前訓練された単語の埋め込みとメタ埋め込みを組み合わせることで、NLPタスクへの取り組みを改善することが可能なアプローチとなっている。 メタ埋め込み学習は、与えられた訓練済みの入力単語の埋め込みセットから単一の単語埋め込みを生成するプロセスである。 本稿では,SOTA(State-of-the-Art)モデルから派生したメタ埋め込みを用いて,分類や意味的関連性,テキスト類似性といった主要なNLPタスクに効率的に取り組むことを提案する。 我々は、効率的なアプローチを特定するためにアンサンブルと動的変種の両方を比較した。 その結果、最高の最先端モデルでも改善できることがわかった。 したがって、メタ埋め込みは、複数の個々の表現のパワーを活用することで、複数のNLPタスクに使用できることを示す。

関連論文リスト

• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Number Entity Recognition [65.80137628972312]
  番号は他のワードトークンと同様に、自然言語処理(NLP)モデルを構築し、デプロイするテキストの必須コンポーネントである。 本研究では、最先端のNLPモデルの可能性を活用し、関連するタスクにおける性能向上能力の伝達を試みる。 提案した数値をエンティティに分類することで,手作りのFill-In-The-Blank (FITB)タスクや,関節埋め込みを用いた質問応答など,NLPモデルの性能が向上する。
  論文  参考訳（メタデータ） (2022-05-07T05:22:43Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models [15.900069711477542]
  本稿では,文脈適応型単語埋め込みモデルを独立に訓練した文レベルのメタ埋め込み学習手法を提案する。 提案手法は教師なしで,特定の下流タスクとは無関係である。 実験の結果,提案手法は従来提案した文レベルのメタ埋め込み法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-16T08:20:24Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP [22.772546707304766]
  単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。 すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
  論文  参考訳（メタデータ） (2021-12-20T13:04:18Z)
• Paradigm Shift in Natural Language Processing [66.62609175829816]
  ディープラーニングの時代、ほとんどのNLPタスクのモデリングは、いくつかの主流パラダイムに収束した。 近年, パラダイムシフトが増加傾向にあり, 一つのNLPタスクを別のタスクとして再構成することで解決している。 これらのパラダイムのいくつかは、多数のNLPタスクを統合する大きな可能性を示しており、多様なタスクを処理する単一のモデルを構築することができる。
  論文  参考訳（メタデータ） (2021-09-26T11:55:23Z)
• Deconstructing word embedding algorithms [17.797952730495453]
  我々は、最もよく知られた単語埋め込みアルゴリズムのいくつかについて振り返りを提案する。 本研究では,Word2vec,GloVe,その他を共通形式に分解し,実演語埋め込みに必要な共通条件を明らかにした。
  論文  参考訳（メタデータ） (2020-11-12T14:23:35Z)
• Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
  本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。 我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
  論文  参考訳（メタデータ） (2020-09-30T02:33:09Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。