論文の概要: Using Paraphrases to Study Properties of Contextual Embeddings

• arxiv url: http://arxiv.org/abs/2207.05553v1
• Date: Tue, 12 Jul 2022 14:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 13:55:43.708516
• Title: Using Paraphrases to Study Properties of Contextual Embeddings
• Title（参考訳）: パラフレーズを用いた文脈埋め込みの性質の研究
• Authors: Laura Burdick, Jonathan K. Kummerfeld, Rada Mihalcea
• Abstract要約: 我々は、コンテキスト化された埋め込みを分析するために、独自のデータソースとしてパラフレーズを使用します。 パラフレーズは自然に一貫した単語やフレーズのセマンティクスを符号化するため、埋め込みの性質を調査するためのユニークなレンズを提供する。 文脈埋め込みは多文語を効果的に扱うが、多くの場合、驚くほど異なる表現を与える。
• 参考スコア（独自算出の注目度）: 46.84861591608146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We use paraphrases as a unique source of data to analyze contextualized embeddings, with a particular focus on BERT. Because paraphrases naturally encode consistent word and phrase semantics, they provide a unique lens for investigating properties of embeddings. Using the Paraphrase Database's alignments, we study words within paraphrases as well as phrase representations. We find that contextual embeddings effectively handle polysemous words, but give synonyms surprisingly different representations in many cases. We confirm previous findings that BERT is sensitive to word order, but find slightly different patterns than prior work in terms of the level of contextualization across BERT's layers.
• Abstract（参考訳）: 我々は、独自のデータソースとしてパラフレーズを使用し、特にBERTに焦点を当てたコンテキスト化された埋め込みを分析します。 パラフレーズは自然に一貫した単語やフレーズのセマンティクスを符号化するため、埋め込みの性質を研究するためのユニークなレンズを提供する。 パラフレーズデータベースのアライメントを用いて,パラフレーズ内の単語とフレーズ表現について検討する。 文脈埋め込みは多義語を効果的に扱うが、多くの場合、驚くほど異なる表現を与える。 我々は,BERTが単語の順序に敏感であることを確認するが,BERT層間の文脈化のレベルにおいて,従来の作業と若干異なるパターンを見出す。

関連論文リスト

• Span-Aggregatable, Contextualized Word Embeddings for Effective Phrase Mining [0.22499166814992438]
  目的語句が雑音の多い文脈内に存在する場合, 単語の完全文を1つの高次ベクトルで表すだけでは, 効果的な句検索には不十分であることを示す。 本稿では,この手法がフレーズマイニングに有用であるが,有用なスパン表現を得るためには,かなりの計算が必要であることを示す。
  論文  参考訳（メタデータ） (2024-05-12T12:08:05Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents [19.035917264711664]
  本稿では,キーワードを意図から切り離してテキストセマンティックマッチングを行うためのトレーニング戦略を提案する。 提案手法は,予測効率に影響を与えることなく,事前学習言語モデル(PLM)と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-03-06T07:48:24Z)
• Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words [50.11559460111882]
  本稿では,単語ではなく単語の語彙上で,BERTスタイルの事前学習モデルを開発する可能性について検討する。 その結果,標準的なワードピースベースのBERTと比較して,WordBERTはクローゼテストや機械読解の大幅な改善を実現していることがわかった。 パイプラインは言語に依存しないので、中国語でWordBERTを訓練し、5つの自然言語理解データセットで大きな利益を得る。
  論文  参考訳（メタデータ） (2022-02-24T15:15:48Z)
• Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration [25.159601117722936]
  我々は,BERTがより強力なフレーズ埋め込みを生成可能な,対照的な微調整対象を提案する。 提案手法は,パラフレーズ生成モデルを用いて自動生成される多種多様なパラフレーズのデータセットに依存する。 ケーススタディでは、フレーズベースのニューラルトピックモデルを構築するために、Phrase-BERT埋め込みを単純なオートエンコーダと簡単に統合できることが示されている。
  論文  参考訳（メタデータ） (2021-09-13T20:31:57Z)
• Improving Paraphrase Detection with the Adversarial Paraphrasing Task [0.0]
  パラフレーズデータセットは現在、単語の重複と構文に基づくパラフレーズの感覚に依存している。 パラフレーズ識別のための新しいデータセット生成法: 逆パラフレーズ処理タスク(APT)について紹介する。 APTは参加者に意味論的に等価(相互に意味的)であるが、語彙的にも構文的にも異なるパラフレーズを生成するよう要求する。
  論文  参考訳（メタデータ） (2021-06-14T18:15:20Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models [0.0]
  BERTからの文脈埋め込みと一般的な単語埋め込みとの比較をトレーニングすることで感情を推測できることが示される。 また、BERTと汎用単語埋め込みを比較して構築したモデルの重みのサブセットを微調整すると、アスペクトベース感性分類データセットにおける極性検出のための技術結果が得られます。
  論文  参考訳（メタデータ） (2020-11-23T19:12:31Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。