Fugu-MT 論文翻訳(概要): Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings

論文の概要: Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings

arxiv url: http://arxiv.org/abs/2012.15353v1
Date: Wed, 30 Dec 2020 22:52:29 GMT
ステータス: 処理完了
システム内更新日: 2021-04-18 07:28:11.685044
Title: Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings
Title（参考訳）: bert(および他のトランスフォーマーモデル)埋め込みによる文脈的意味的特徴の導出
Authors: Jacob Turton, David Vinson, Robert Elliott Smith
Abstract要約: 本稿では,Binder の特徴が BERT 埋め込み空間から導出可能であることを示す。コンテキスト化されたBinder埋め込みを提供し、コンテキスト内の単語間の意味的差異を理解するのに役立つ。さらに、BERTモデルの異なるレイヤ間でセマンティック機能がどのように表現されるかについての洞察も提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Models based on the transformer architecture, such as BERT, have marked a crucial step forward in the field of Natural Language Processing. Importantly, they allow the creation of word embeddings that capture important semantic information about words in context. However, as single entities, these embeddings are difficult to interpret and the models used to create them have been described as opaque. Binder and colleagues proposed an intuitive embedding space where each dimension is based on one of 65 core semantic features. Unfortunately, the space only exists for a small dataset of 535 words, limiting its uses. Previous work (Utsumi, 2018, 2020, Turton, Vinson & Smith, 2020) has shown that Binder features can be derived from static embeddings and successfully extrapolated to a large new vocabulary. Taking the next step, this paper demonstrates that Binder features can be derived from the BERT embedding space. This provides contextualised Binder embeddings, which can aid in understanding semantic differences between words in context. It additionally provides insights into how semantic features are represented across the different layers of the BERT model.
Abstract（参考訳）: BERTのようなトランスフォーマーアーキテクチャに基づくモデルは、自然言語処理の分野で重要な一歩を踏み出した。重要なことは、文脈における単語に関する重要な意味情報をキャプチャする単語埋め込みの作成を可能にすることである。しかし、単一の実体として、これらの埋め込みは解釈が難しく、それらを作成するのに使われたモデルは不透明であると説明されている。 Binderと同僚は直感的な埋め込み空間を提案し、それぞれの次元は65のコアセマンティックな特徴の1つに基づいている。残念ながら、スペースは535ワードの小さなデータセットでしか存在せず、使用は制限されている。以前の研究(Utsumi, 2018, 2020, Turton, Vinson & Smith, 2020)では、Binderの機能は静的な埋め込みから派生し、大きな新しい語彙への外挿に成功した。次のステップとして,Binder の機能は BERT 埋め込み空間から導出可能であることを示す。これはコンテキスト化されたBinder埋め込みを提供し、コンテキスト内の単語間の意味的差異を理解するのに役立つ。さらに、BERTモデルの異なるレイヤ間でセマンティック機能がどのように表現されるかについての洞察も提供する。

関連論文リスト

Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer [6.467090475885798]
この摂動モデルを完成させるEPAAE(Perturbed Adrial AutoEncoders)を導入する。これは、(a)スタイル的に類似した文をまとめるより優れた組織化された潜在空間を生み出すことを実証的に示す。また、テキストスタイルの転送タスクをNLIデータセットに拡張し、これらのより複雑なスタイル定義がEPAAEによって最もよく学習されていることを示す。
論文参考訳（メタデータ） (2022-05-04T20:04:24Z)
Imputing Out-of-Vocabulary Embeddings with LOVE Makes Language Models Robust with Little Cost [5.672132510411465]
最先端のNLPシステムは、単語埋め込みを伴う入力を表すが、外語彙の単語に直面すると、これらは不安定である。我々は,単語の表面形のみを用いて事前学習した埋め込みの挙動を学習することにより,未知語に対するベクトルを生成するための模倣様モデルの原理に従う。本稿では,既存の事前学習型言語モデル(BERTなど)の単語表現を拡張したシンプルなコントラスト学習フレームワークLOVEを提案する。
論文参考訳（メタデータ） (2022-03-15T13:11:07Z)
MarkBERT: Marking Word Boundaries Improves Chinese BERT [67.53732128091747]
MarkBERTは、語彙を漢字として保持し、連続した単語間の境界マーカーを挿入する。従来の単語ベースのBERTモデルと比較して、MarkBERTはテキスト分類、キーワード認識、意味的類似性タスクにおいて精度が向上している。
論文参考訳（メタデータ） (2022-03-12T08:43:06Z)
Tell me what you see: A zero-shot action recognition method based on natural language descriptions [2.022555840231001]
本稿では,観察者と呼ばれるビデオキャプションモデルが,異なる補完的な記述文を提供する方法を提案する。 ZSARでは、深い特徴ではなく記述文で動画を表現できることが証明され、ドメイン適応の問題が自然に軽減される。複数のテキストデータセット上でパラフレージングタスクで事前訓練されたBERTベースの埋め込みを用いた共有意味空間を構築する。
論文参考訳（メタデータ） (2021-12-18T17:44:07Z)
Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling [65.51280121472146]
私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
論文参考訳（メタデータ） (2021-04-15T04:01:02Z)
Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
論文参考訳（メタデータ） (2021-04-14T13:09:51Z)
SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
論文参考訳（メタデータ） (2020-12-30T15:38:26Z)
Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文参考訳（メタデータ） (2020-12-28T06:48:04Z)
Improved Biomedical Word Embeddings in the Transformer Era [2.978663539080876]
まずスキップグラム法を用いて単語と概念の埋め込みを学び、相関情報でさらに微調整します。先行研究により開発された単語関連性について,複数のデータセットを用いた調律された静的組込みの評価を行う。
論文参考訳（メタデータ） (2020-12-22T03:03:50Z)
Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文参考訳（メタデータ） (2020-12-10T01:27:24Z)
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies [0.0]
言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 BERT埋め込みモデルは、単語の文脈情報に有効であることが証明されている。このプロジェクトは、構文情報がどのようにBERT埋め込みに追加され、セマンティクスと構文を組み込んだ単語埋め込みの両方をもたらすかを調査します。
論文参考訳（メタデータ） (2020-12-09T20:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。