論文の概要: Decomposing Word Embedding with the Capsule Network
- arxiv url: http://arxiv.org/abs/2004.13844v2
- Date: Tue, 30 Jun 2020 01:58:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 00:07:04.553376
- Title: Decomposing Word Embedding with the Capsule Network
- Title（参考訳）: カプセルネットワークによる単語埋め込みの分解
- Authors: Xin Liu, Qingcai Chen, Yan Liu, Joanna Siebert, Baotian Hu, Xiangping
Wu and Buzhou Tang
- Abstract要約: そこで本稿では,曖昧な単語の教師なし単語の埋め込みをコンテキスト固有のセンス埋め込みに分解するカプセルネットワーク方式を提案する。
注意操作により、CapsDecE2Sは単語コンテキストを統合し、複数の形態素様ベクトルをコンテキスト固有の感覚埋め込みに再構成する。
本手法では,感覚学習を二分分類に変換し,マッチングラベルと非マッチングによって感覚の関係を明示的に学習する。
- 参考スコア（独自算出の注目度）: 23.294890047230584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Word sense disambiguation tries to learn the appropriate sense of an
ambiguous word in a given context. The existing pre-trained language methods
and the methods based on multi-embeddings of word did not explore the power of
the unsupervised word embedding sufficiently.
In this paper, we discuss a capsule network-based approach, taking advantage
of capsule's potential for recognizing highly overlapping features and dealing
with segmentation. We propose a Capsule network-based method to Decompose the
unsupervised word Embedding of an ambiguous word into context specific Sense
embedding, called CapsDecE2S. In this approach, the unsupervised ambiguous
embedding is fed into capsule network to produce its multiple morpheme-like
vectors, which are defined as the basic semantic language units of meaning.
With attention operations, CapsDecE2S integrates the word context to
reconstruct the multiple morpheme-like vectors into the context-specific sense
embedding. To train CapsDecE2S, we propose a sense matching training method. In
this method, we convert the sense learning into a binary classification that
explicitly learns the relation between senses by the label of matching and
non-matching. The CapsDecE2S was experimentally evaluated on two sense learning
tasks, i.e., word in context and word sense disambiguation. Results on two
public corpora Word-in-Context and English all-words Word Sense Disambiguation
show that, the CapsDecE2S model achieves the new state-of-the-art for the word
in context and word sense disambiguation tasks.
- Abstract（参考訳）: 単語感覚の曖昧さは、与えられた文脈で曖昧な単語の適切な感覚を学ぼうとする。
既存の事前学習された言語手法と、単語のマルチエンベディングに基づく手法は、教師なしの単語埋め込みのパワーを十分に探求しなかった。
本稿では,カプセルネットワークに基づくアプローチについて検討し,カプセルの潜在能力を生かして重なり合う特徴を認識し,セグメンテーションを扱う。
本稿では,不明瞭な単語の教師なし単語の埋め込みを,CapsDecE2Sと呼ばれるコンテキスト固有のセンス埋め込みに分解するCapsuleネットワーク方式を提案する。
このアプローチでは、教師なし曖昧な埋め込みがカプセルネットワークに供給され、意味の基本意味言語単位として定義される複数の形態素様ベクトルを生成する。
注意操作により、CapsDecE2Sは単語コンテキストを統合し、複数の形態素様ベクトルをコンテキスト固有の感覚埋め込みに再構成する。
CapsDecE2Sを訓練するために,感性マッチング学習法を提案する。
本手法では,感覚学習を二分分類に変換し,マッチングラベルと非マッチングによって感覚の関係を明示的に学習する。
capsdece2sは2つの感覚学習タスク(文脈における単語と単語の曖昧さ)で実験的に評価された。
その結果,capsdece2sモデルは,文脈における単語の新たな状態と,単語意味の曖昧さを解消するタスクを実現することがわかった。
関連論文リスト
- To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models [0.9176056742068812]
多義語と同義語は語彙的あいまいさの重要な面である。
本稿では,単語間のソフトクラスタリングを学習する教師なしタスクである概念誘導について紹介する。
本稿では,局所レンマ中心の視点と大域的相互関係の視点を両立する概念誘導手法を提案する。
論文 参考訳（メタデータ） (2024-06-28T17:07:06Z) - Word sense extension [8.939269057094661]
本稿では,新しい文脈に向けて,単語が新たな感覚を創出することを可能にする,単語知覚拡張(WSE)のパラダイムを提案する。
本研究では,多文語型を異なる感覚を示す2つの擬似トークンに分割することで,単語拡張をシミュレートするフレームワークを開発する。
本フレームワークは,様々な種類の単語知覚拡張をサポートするために,言語モデル埋め込み空間を変換する学習手法と,連鎖の認知モデルを組み合わせる。
論文 参考訳（メタデータ） (2023-06-09T00:54:21Z) - Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained
Static Sense Embeddings [19.12036493733793]
そこで本研究では,メタセンスの埋め込み手法として,メタセンスの埋め込みを周辺保存する手法を提案する。
提案手法は,単語感覚の異なる集合を包含するソースセンス埋め込みを組み合わせることができる。
Word Sense Disambiguation (WSD) と Word-in-Context (WiC) のタスクに対する実験結果から,提案したメタセンス埋め込み手法は競争力のあるベースラインを一貫して上回ることがわかった。
論文 参考訳（メタデータ） (2023-05-30T14:53:44Z) - Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。
文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
論文 参考訳（メタデータ） (2023-04-20T21:05:35Z) - Latent Topology Induction for Understanding Contextualized
Representations [84.7918739062235]
本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。
文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
論文 参考訳（メタデータ） (2022-06-03T11:22:48Z) - Learning Sense-Specific Static Embeddings using Contextualised Word
Embeddings as a Proxy [26.385418377513332]
感覚の文脈導出埋め込み(CDES)を提案する。
CDESは文脈的埋め込みから感覚関連情報を抽出し、それを静的埋め込みに注入し、センス固有の静的埋め込みを生成する。
本報告では,CDESが,現在の最先端感埋め込みに匹敵する性能を示す,感覚特異的な静的埋め込みを正確に学習可能であることを示す。
論文 参考訳（メタデータ） (2021-10-05T17:50:48Z) - R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic
Matching [58.72111690643359]
文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。
最初にBERTを使用して、グローバルな視点から入力文をエンコードします。
次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。
関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
論文 参考訳（メタデータ） (2020-12-16T13:11:30Z) - SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in
BERT-based Embedding Spaces [63.17308641484404]
本稿では,異なる単語の意味の表現として,各単語の異なる事象のクラスタを特定することを提案する。
得られたクラスタの分解は、自然に4つのターゲット言語において、各ターゲットワードごとの意味的シフトのレベルを定量化することができる。
当社のアプローチは,提供されたすべてのSemEvalベースラインを抜いて,個別(言語毎)と全体の両方で良好に動作します。
論文 参考訳（メタデータ） (2020-10-02T08:38:40Z) - Moving Down the Long Tail of Word Sense Disambiguation with
Gloss-Informed Biencoders [79.38278330678965]
Word Sense Disambiguation (WSD)の主な障害は、単語感覚が均一に分散されないことである。
本稿では,(1)対象語とその周囲の文脈を独立に埋め込んだバイエンコーダモデルを提案する。
論文 参考訳（メタデータ） (2020-05-06T04:21:45Z) - Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。
本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。
この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
論文 参考訳（メタデータ） (2020-03-14T14:50:04Z) - CASE: Context-Aware Semantic Expansion [68.30244980290742]
本稿では,CASE(Context-Aware Semantic Expansion)と呼ばれる新しいタスクを定義し,検討する。
セマンティックな文脈でシード項が与えられた場合、その文脈に適した他の用語をシードとして提案することを目指している。
このタスクのアノテーションは,既存のコーパスから完全に自動で,大規模に抽出可能であることを示す。
論文 参考訳（メタデータ） (2019-12-31T06:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。