論文の概要: Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies

• arxiv url: http://arxiv.org/abs/2012.05300v1
• Date: Wed, 9 Dec 2020 20:22:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 05:20:09.066932
• Title: Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
• Title（参考訳）: 構文依存型mBERT埋め込みを用いた言語間単語センスの曖昧化
• Authors: Xingran Zhu
• Abstract要約: 言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 BERT埋め込みモデルは、単語の文脈情報に有効であることが証明されている。 このプロジェクトは、構文情報がどのようにBERT埋め込みに追加され、セマンティクスと構文を組み込んだ単語埋め込みの両方をもたらすかを調査します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-lingual word sense disambiguation (WSD) tackles the challenge of disambiguating ambiguous words across languages given context. The pre-trained BERT embedding model has been proven to be effective in extracting contextual information of words, and have been incorporated as features into many state-of-the-art WSD systems. In order to investigate how syntactic information can be added into the BERT embeddings to result in both semantics- and syntax-incorporated word embeddings, this project proposes the concatenated embeddings by producing dependency parse tress and encoding the relative relationships of words into the input embeddings. Two methods are also proposed to reduce the size of the concatenated embeddings. The experimental results show that the high dimensionality of the syntax-incorporated embeddings constitute an obstacle for the classification task, which needs to be further addressed in future studies.
• Abstract（参考訳）: 言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 事前学習されたBERT埋め込みモデルは、単語の文脈情報を抽出するのに有効であることが証明されており、多くの最先端のWSDシステムに機能として組み込まれている。 構文情報がbert組込みにどのように追加され、意味論と構文に組み込まれた単語組込みの両方をもたらすかを調べるため、本プロジェクトは、依存関係パースtresを生成し、単語の相対関係を入力組込みにエンコードすることで、連結組込みを提案する。 連結埋め込みのサイズを減らすための2つの方法も提案されている。 実験の結果,構文を組み込んだ組込みの高次元化が分類課題の障害となり,今後の研究でさらに対応する必要があることが示された。

関連論文リスト

• Mitigating Semantic Leakage in Cross-lingual Embeddings via Orthogonality Constraint [6.880579537300643]
  現在の不整合表現学習法はセマンティックリークに悩まされている。 我々は,新しい学習目標orthogonAlity Constraint LEarning(ORACLE)を提案する。 ORACLEはクラス内のクラスタリングとクラス間の分離という2つのコンポーネントの上に構築されている。 ORACLE目標を用いたトレーニングは,意味的漏洩を効果的に低減し,埋め込み空間内の意味的アライメントを高めることを実証する。
  論文  参考訳（メタデータ） (2024-09-24T02:01:52Z)
• Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection [0.0]
  本稿では,レイヤ間の中間出力にバイナリマスクを適用することにより,BERTから意味感覚を分離することを目的とする。 2つの異なる文の目的語が同じ意味を持つかどうかを判定するために、二分分類により、アンタングル埋め込みを評価する。
  論文  参考訳（メタデータ） (2023-10-08T11:07:19Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
  本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。 我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。 SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-14T01:24:03Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models [32.003787396501075]
  ParaBARTは、予め訓練された言語モデルによって得られる文埋め込みにおける意味論と構文を解き放つことを学ぶ意味論文埋め込みモデルである。 ParaBARTは、ターゲットのパラフレーズとセマンティクスを共有するソース文と、ターゲットの構文を指定するパースツリーに基づいて、構文誘導のパラフレーズを実行するように訓練されている。
  論文  参考訳（メタデータ） (2021-04-11T21:34:46Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Semantic Relatedness for Keyword Disambiguation: Exploiting Different Embeddings [0.0]
  本稿では,学習時に未知の外部インベントリ(オントロジー)によって提供される単語と感覚間の意味的関連性に基づくキーワードの曖昧さに対するアプローチを提案する。 実験の結果,特定のドメインをトレーニングすることなく,単語センスの曖昧さ (WSD) を適用した場合に,この手法が技術状況に匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-25T16:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。