論文の概要: Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings

• arxiv url: http://arxiv.org/abs/2012.15353v1
• Date: Wed, 30 Dec 2020 22:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 07:28:11.685044
• Title: Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings
• Title（参考訳）: bert(および他のトランスフォーマーモデル)埋め込みによる文脈的意味的特徴の導出
• Authors: Jacob Turton, David Vinson, Robert Elliott Smith
• Abstract要約: 本稿では,Binder の特徴が BERT 埋め込み空間から導出可能であることを示す。 コンテキスト化されたBinder埋め込みを提供し、コンテキスト内の単語間の意味的差異を理解するのに役立つ。 さらに、BERTモデルの異なるレイヤ間でセマンティック機能がどのように表現されるかについての洞察も提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models based on the transformer architecture, such as BERT, have marked a crucial step forward in the field of Natural Language Processing. Importantly, they allow the creation of word embeddings that capture important semantic information about words in context. However, as single entities, these embeddings are difficult to interpret and the models used to create them have been described as opaque. Binder and colleagues proposed an intuitive embedding space where each dimension is based on one of 65 core semantic features. Unfortunately, the space only exists for a small dataset of 535 words, limiting its uses. Previous work (Utsumi, 2018, 2020, Turton, Vinson & Smith, 2020) has shown that Binder features can be derived from static embeddings and successfully extrapolated to a large new vocabulary. Taking the next step, this paper demonstrates that Binder features can be derived from the BERT embedding space. This provides contextualised Binder embeddings, which can aid in understanding semantic differences between words in context. It additionally provides insights into how semantic features are represented across the different layers of the BERT model.
• Abstract（参考訳）: BERTのようなトランスフォーマーアーキテクチャに基づくモデルは、自然言語処理の分野で重要な一歩を踏み出した。 重要なことは、文脈における単語に関する重要な意味情報をキャプチャする単語埋め込みの作成を可能にすることである。 しかし、単一の実体として、これらの埋め込みは解釈が難しく、それらを作成するのに使われたモデルは不透明であると説明されている。 Binderと同僚は直感的な埋め込み空間を提案し、それぞれの次元は65のコアセマンティックな特徴の1つに基づいている。 残念ながら、スペースは535ワードの小さなデータセットでしか存在せず、使用は制限されている。 以前の研究(Utsumi, 2018, 2020, Turton, Vinson & Smith, 2020)では、Binderの機能は静的な埋め込みから派生し、大きな新しい語彙への外挿に成功した。 次のステップとして,Binder の機能は BERT 埋め込み空間から導出可能であることを示す。 これはコンテキスト化されたBinder埋め込みを提供し、コンテキスト内の単語間の意味的差異を理解するのに役立つ。 さらに、BERTモデルの異なるレイヤ間でセマンティック機能がどのように表現されるかについての洞察も提供する。

関連論文リスト

• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• MarkBERT: Marking Word Boundaries Improves Chinese BERT [67.53732128091747]
  MarkBERTは、語彙を漢字として保持し、連続した単語間の境界マーカーを挿入する。 従来の単語ベースのBERTモデルと比較して、MarkBERTはテキスト分類、キーワード認識、意味的類似性タスクにおいて精度が向上している。
  論文  参考訳（メタデータ） (2022-03-12T08:43:06Z)
• Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling [65.51280121472146]
  私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。 我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
  論文  参考訳（メタデータ） (2021-04-15T04:01:02Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Improved Biomedical Word Embeddings in the Transformer Era [2.978663539080876]
  まずスキップグラム法を用いて単語と概念の埋め込みを学び、相関情報でさらに微調整します。 先行研究により開発された単語関連性について,複数のデータセットを用いた調律された静的組込みの評価を行う。
  論文  参考訳（メタデータ） (2020-12-22T03:03:50Z)
• Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models [0.0]
  BERTからの文脈埋め込みと一般的な単語埋め込みとの比較をトレーニングすることで感情を推測できることが示される。 また、BERTと汎用単語埋め込みを比較して構築したモデルの重みのサブセットを微調整すると、アスペクトベース感性分類データセットにおける極性検出のための技術結果が得られます。
  論文  参考訳（メタデータ） (2020-11-23T19:12:31Z)
• Semantic Labeling Using a Deep Contextualized Language Model [9.719972529205101]
  本研究では,コラム値と文脈の両方を用いた文脈認識型セマンティックラベリング手法を提案する。 我々の新しい手法はセマンティックラベリングの新しい設定に基づいており、ヘッダーを欠いた入力テーブルのラベルを逐次予測する。 我々の知る限りでは、BERTをセマンティックラベリングタスクの解決に成功させたのは、私たちが初めてです。
  論文  参考訳（メタデータ） (2020-10-30T03:04:22Z)
• CharacterBERT: Reconciling ELMo and BERT for Word-Level Open-Vocabulary Representations From Characters [14.956626084281638]
  本稿では,ワードピースシステムを完全に廃止し,代わりに文字を照会して全単語を表現するために,文字CNNモジュールを使用するBERTの新たな変種を提案する。 この新モデルにより,様々な医療領域タスクにおけるBERTの性能が向上すると同時に,頑健で単語レベルのオープン語彙表現が実現できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-20T15:58:53Z)
• LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention [37.111204321059084]
  両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-02T15:38:03Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。