論文の概要: SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings

• arxiv url: http://arxiv.org/abs/2301.04704v1
• Date: Wed, 11 Jan 2023 20:25:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 13:31:59.465822
• Title: SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
• Title（参考訳）: SensePOLAR:事前学習した文脈単語埋め込みのための単語知覚認識能力
• Authors: Jan Engler, Sandipan Sikdar, Marlene Lutz and Markus Strohmaier
• Abstract要約: 単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。 本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
• 参考スコア（独自算出の注目度）: 4.479834103607384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adding interpretability to word embeddings represents an area of active research in text representation. Recent work has explored thepotential of embedding words via so-called polar dimensions (e.g. good vs. bad, correct vs. wrong). Examples of such recent approaches include SemAxis, POLAR, FrameAxis, and BiImp. Although these approaches provide interpretable dimensions for words, they have not been designed to deal with polysemy, i.e. they can not easily distinguish between different senses of words. To address this limitation, we present SensePOLAR, an extension of the original POLAR framework that enables word-sense aware interpretability for pre-trained contextual word embeddings. The resulting interpretable word embeddings achieve a level of performance that is comparable to original contextual word embeddings across a variety of natural language processing tasks including the GLUE and SQuAD benchmarks. Our work removes a fundamental limitation of existing approaches by offering users sense aware interpretations for contextual word embeddings.
• Abstract（参考訳）: 単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究領域である。 最近の研究は、いわゆる極性次元(善対悪、正対悪)による単語の埋め込みの可能性を探っている。 最近のアプローチには、SemAxis、POLAR、FrameAxis、BiImpなどがある。 これらの手法は単語の解釈可能な次元を提供するが、多意味性を扱うように設計されていない。 この制限に対処するため、SensePOLARは、事前学習した文脈単語の埋め込みに対して、単語認識による解釈を可能にするオリジナルのPOLARフレームワークの拡張である。 その結果得られる解釈可能な単語埋め込みは、glue や squad ベンチマークを含む様々な自然言語処理タスクにまたがる元の文脈的単語埋め込みに匹敵するレベルのパフォーマンスを達成する。 本研究は,文脈的単語埋め込みに対するユーザ認識解釈を提供することにより,既存のアプローチの基本的な制限を取り除く。

関連論文リスト

• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• A Survey On Neural Word Embeddings [0.4822598110892847]
  自然言語処理における意味の研究は、分布仮説に依存する。 概念の分散表現という革命的な考えは、人間の心の働きに近い。 ニューラルワード埋め込みは、すべてのNLPタスクを大幅に改善することで、NLPの分野全体を変革した。
  論文  参考訳（メタデータ） (2021-10-05T03:37:57Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Interactive Re-Fitting as a Technique for Improving Word Embeddings [0.0]
  我々は,単語の集合を互いに近づけることで,単語の埋め込み空間の一部を調整できるようにする。 提案手法では,単語埋め込みにおける潜在的なバイアスをユーザが操作する際,選択的な後処理をトリガーし,評価することができる。
  論文  参考訳（メタデータ） (2020-09-30T21:54:22Z)
• SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences [0.0]
  逐次文中の多文単語の文脈と解釈を動的に推定する手法を提案する。 SCAINアルゴリズムを用いることで、文脈と単語の解釈の相互依存性を逐次最適化し、新しい解釈をオンラインで得ることができる。
  論文  参考訳（メタデータ） (2020-05-29T16:40:27Z)
• A Survey on Contextual Embeddings [48.04732268018772]
  文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。 本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
  論文  参考訳（メタデータ） (2020-03-16T15:22:22Z)
• A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
  感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。 文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-28T05:03:15Z)
• The POLAR Framework: Polar Opposites Enable Interpretability of Pre-Trained Word Embeddings [6.894744675083238]
  POLAR - 意味微分の導入により、事前学習された単語の埋め込みに解釈可能性を追加するフレームワークを紹介する。 様々な下流タスクにデプロイすることで、フレームワークの有効性を実証する。 また,我々の枠組みによって選択された解釈可能な次元が人間の判断と一致していることも示している。
  論文  参考訳（メタデータ） (2020-01-27T15:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。