論文の概要: Bayesian Hierarchical Words Representation Learning
- arxiv url: http://arxiv.org/abs/2004.07126v1
- Date: Sun, 12 Apr 2020 13:39:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 04:54:46.392039
- Title: Bayesian Hierarchical Words Representation Learning
- Title(参考訳): ベイズ階層型単語表現学習
- Authors: Oren Barkan, Idan Rejwan, Avi Caciularu, Noam Koenigstein
- Abstract要約: 本稿では,ベイジアン階層型単語表現(BHWR)学習アルゴリズムを提案する。
BHWRは変分ベイズ語表現学習と階層的先行性による意味分類学モデリングの併用を促進する。
- 参考スコア(独自算出の注目度): 25.0266023762853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the Bayesian Hierarchical Words Representation (BHWR)
learning algorithm. BHWR facilitates Variational Bayes word representation
learning combined with semantic taxonomy modeling via hierarchical priors. By
propagating relevant information between related words, BHWR utilizes the
taxonomy to improve the quality of such representations. Evaluation of several
linguistic datasets demonstrates the advantages of BHWR over suitable
alternatives that facilitate Bayesian modeling with or without semantic priors.
Finally, we further show that BHWR produces better representations for rare
words.
- Abstract(参考訳): 本稿では,ベイジアン階層型単語表現(BHWR)学習アルゴリズムを提案する。
BHWRは変分ベイズ語表現学習と階層的先行性による意味分類学モデリングの併用を促進する。
関連する単語間で関連情報を伝達することにより、BHWRはこれらの表現の品質を向上させるために分類を利用する。
いくつかの言語データセットの評価は、ベイズ的モデリングにセマンティックな先行性の有無にかかわらず、適切な代替手段よりもBHWRの利点を証明している。
最後に、BHWRが稀な単語に対してより良い表現を生成することを示す。
関連論文リスト
- Contextual Dictionary Lookup for Knowledge Graph Completion [32.493168863565465]
知識グラフ補完(KGC)は、知識グラフの不完全性(KGs)を解決することを目的として、既知の三重項から欠落するリンクを予測する。
既存の埋め込みモデルは、それぞれの関係を一意なベクトルにマッピングし、異なる実体の下でそれらの特定の粒度のセマンティクスを見渡す。
本稿では,従来の埋め込みモデルを用いて,関係の微粒なセマンティクスをエンド・ツー・エンドで学習することのできる,文脈辞書検索を利用した新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T12:13:41Z) - Retrofitting Multilingual Sentence Embeddings with Abstract Meaning
Representation [70.58243648754507]
抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。
原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。
実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
論文 参考訳(メタデータ) (2022-10-18T11:37:36Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳(メタデータ) (2022-05-23T16:47:37Z) - Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to
Corpus Exploration [25.159601117722936]
我々は,BERTがより強力なフレーズ埋め込みを生成可能な,対照的な微調整対象を提案する。
提案手法は,パラフレーズ生成モデルを用いて自動生成される多種多様なパラフレーズのデータセットに依存する。
ケーススタディでは、フレーズベースのニューラルトピックモデルを構築するために、Phrase-BERT埋め込みを単純なオートエンコーダと簡単に統合できることが示されている。
論文 参考訳(メタデータ) (2021-09-13T20:31:57Z) - Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。
各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。
12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文 参考訳(メタデータ) (2020-12-30T09:11:50Z) - Deep Semantic Dictionary Learning for Multi-label Image Classification [3.3989824361632337]
本稿では,辞書学習課題であるマルチラベル画像分類の解法に向けて,革新的な方法を提案する。
Deep Semantic Dictionary Learning(DSDL)という新しいエンドツーエンドモデルが設計されている。
コードとモデルを公開しました。
論文 参考訳(メタデータ) (2020-12-23T06:22:47Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳(メタデータ) (2020-06-21T14:10:47Z) - BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。
提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。
我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文 参考訳(メタデータ) (2020-04-29T04:01:52Z) - Multilingual Alignment of Contextual Word Representations [49.42244463346612]
BERTはXNLIのゼロショット性能をベースモデルに比べて大幅に改善した。
単語検索の文脈バージョンを導入し、下流のゼロショット転送とよく相関していることを示す。
これらの結果は、大規模多言語事前学習モデルの理解に有用な概念としてコンテキストアライメントをサポートする。
論文 参考訳(メタデータ) (2020-02-10T03:27:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。