論文の概要: Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models

• arxiv url: http://arxiv.org/abs/2204.07746v1
• Date: Sat, 16 Apr 2022 08:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 09:41:48.484397
• Title: Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
• Title（参考訳）: 文脈言語モデルからの教師なし注意に基づく文レベルメタ埋め込み
• Authors: Keigo Takahashi and Danushka Bollegala
• Abstract要約: 本稿では,文脈適応型単語埋め込みモデルを独立に訓練した文レベルのメタ埋め込み学習手法を提案する。 提案手法は教師なしで,特定の下流タスクとは無関係である。 実験の結果,提案手法は従来提案した文レベルのメタ埋め込み法よりも優れていた。
• 参考スコア（独自算出の注目度）: 15.900069711477542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A variety of contextualised language models have been proposed in the NLP community, which are trained on diverse corpora to produce numerous Neural Language Models (NLMs). However, different NLMs have reported different levels of performances in downstream NLP applications when used as text representations. We propose a sentence-level meta-embedding learning method that takes independently trained contextualised word embedding models and learns a sentence embedding that preserves the complementary strengths of the input source NLMs. Our proposed method is unsupervised and is not tied to a particular downstream task, which makes the learnt meta-embeddings in principle applicable to different tasks that require sentence representations. Specifically, we first project the token-level embeddings obtained by the individual NLMs and learn attention weights that indicate the contributions of source embeddings towards their token-level meta-embeddings. Next, we apply mean and max pooling to produce sentence-level meta-embeddings from token-level meta-embeddings. Experimental results on semantic textual similarity benchmarks show that our proposed unsupervised sentence-level meta-embedding method outperforms previously proposed sentence-level meta-embedding methods as well as a supervised baseline.
• Abstract（参考訳）: nlpコミュニティでは様々な文脈化された言語モデルが提案されており、様々なコーパスで訓練され、多数のニューラル言語モデル(nlms)を生産している。 しかし、異なるNLMは、テキスト表現として使用する場合、下流のNLPアプリケーションで異なるレベルのパフォーマンスを報告している。 本稿では,個別に学習した文脈付き単語埋め込みモデルを用いて,入力元nlmの補完的強みを保った文埋め込み学習手法を提案する。 提案手法は教師なしであり,特定の下流タスクとは無関係であり,学習したメタエンベディングは文表現を必要とする異なるタスクに適用できる。 具体的には、まず、個々のNLMが獲得したトークンレベルの埋め込みを計画し、トークンレベルのメタ埋め込みへのソース埋め込みの貢献を示す注意重みを学習する。 次に,トークンレベルのメタエンベディングから文レベルのメタエンベディングを生成するために,平均および最大プールを適用する。 セマンティックテキスト類似性ベンチマーク実験の結果,提案手法は従来提案した文レベルのメタ埋め込み法や教師付きベースラインよりも優れていた。

関連論文リスト

• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference [28.949004915740776]
  本稿では,自然言語推論(NLI)タスクに対する帰属的手法を評価するための多言語的手法を提案する。 まず,単語アライメントに基づいて忠実度を測定するための新たな言語間戦略を導入する。 次に、異なる出力機構と集約手法を考慮し、帰属手法の包括的な評価を行う。
  論文  参考訳（メタデータ） (2022-04-11T22:11:05Z)
• Skill Induction and Planning with Latent Language [94.55783888325165]
  我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。 本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。 訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
  論文  参考訳（メタデータ） (2021-10-04T15:36:32Z)
• Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks [0.0]
  Word Representationsは、ほぼ全ての高度な自然言語処理(NLP)アプリケーションの中核となるコンポーネントである。 本稿では,主要なNLPタスクに効率よく取り組むために,SOTA(State-of-the-Art)モデルから派生したメタ埋め込みを提案する。
  論文  参考訳（メタデータ） (2020-12-01T16:58:01Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。