論文の概要: Word Embeddings for Banking Industry

• arxiv url: http://arxiv.org/abs/2306.01807v1
• Date: Fri, 2 Jun 2023 01:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 00:10:41.484619
• Title: Word Embeddings for Banking Industry
• Title（参考訳）: 銀行業における単語埋め込み
• Authors: Avnish Patel
• Abstract要約: 銀行固有の単語の埋め込みは、優れたスタンドアロンのソースや、他の広く利用可能な埋め込みの補完となるかもしれない。 本稿では,銀行固有の単語埋め込みのアイデアを探求し,GloVeやBERTといった単語埋め込みの他の源と比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applications of Natural Language Processing (NLP) are plentiful, from sentiment analysis to text classification. Practitioners rely on static word embeddings (e.g. Word2Vec or GloVe) or static word representation from contextual models (e.g. BERT or ELMo) to perform many of these NLP tasks. These widely available word embeddings are built from large amount of text, so they are likely to have captured most of the vocabulary in different context. However, how well would they capture domain-specific semantics and word relatedness? This paper explores this idea by creating a bank-specific word embeddings and evaluates them against other sources of word embeddings such as GloVe and BERT. Not surprising that embeddings built from bank-specific corpora does a better job of capturing the bank-specific semantics and word relatedness. This finding suggests that bank-specific word embeddings could be a good stand-alone source or a complement to other widely available embeddings when performing NLP tasks specific to the banking industry.
• Abstract（参考訳）: 自然言語処理(NLP)の応用は感情分析からテキスト分類まで多岐にわたる。 実践者は静的な単語埋め込み(Word2VecやGloVeなど)や文脈モデル(BERTやELMoなど)からの静的な単語表現に頼り、これらのNLPタスクの多くを実行する。 これらの広く利用可能な単語埋め込みは大量のテキストから構築されているため、多くの語彙を異なる文脈で捉えた可能性が高い。 しかし、ドメイン固有のセマンティクスと単語関連性はどの程度うまく捉えられるだろうか? 本稿では,銀行固有の単語埋め込みを作成し,GloVe や BERT など他の単語埋め込み源と比較して評価する。 銀行固有のコーパスから構築された埋め込みは、銀行固有のセマンティクスと単語の関連性を捉えるのに適しています。 この発見は、銀行固有の単語埋め込みが、銀行業界特有のnlpタスクを実行する際に、他の広く利用可能な埋め込みを補完する良い情報源になり得ることを示唆している。

関連論文リスト

• Using Paraphrases to Study Properties of Contextual Embeddings [46.84861591608146]
  我々は、コンテキスト化された埋め込みを分析するために、独自のデータソースとしてパラフレーズを使用します。 パラフレーズは自然に一貫した単語やフレーズのセマンティクスを符号化するため、埋め込みの性質を調査するためのユニークなレンズを提供する。 文脈埋め込みは多文語を効果的に扱うが、多くの場合、驚くほど異なる表現を与える。
  論文  参考訳（メタデータ） (2022-07-12T14:22:05Z)
• Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words [50.11559460111882]
  本稿では,単語ではなく単語の語彙上で,BERTスタイルの事前学習モデルを開発する可能性について検討する。 その結果,標準的なワードピースベースのBERTと比較して,WordBERTはクローゼテストや機械読解の大幅な改善を実現していることがわかった。 パイプラインは言語に依存しないので、中国語でWordBERTを訓練し、5つの自然言語理解データセットで大きな利益を得る。
  論文  参考訳（メタデータ） (2022-02-24T15:15:48Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Deconstructing word embedding algorithms [17.797952730495453]
  我々は、最もよく知られた単語埋め込みアルゴリズムのいくつかについて振り返りを提案する。 本研究では,Word2vec,GloVe,その他を共通形式に分解し,実演語埋め込みに必要な共通条件を明らかにした。
  論文  参考訳（メタデータ） (2020-11-12T14:23:35Z)
• Interactive Re-Fitting as a Technique for Improving Word Embeddings [0.0]
  我々は,単語の集合を互いに近づけることで,単語の埋め込み空間の一部を調整できるようにする。 提案手法では,単語埋め込みにおける潜在的なバイアスをユーザが操作する際,選択的な後処理をトリガーし,評価することができる。
  論文  参考訳（メタデータ） (2020-09-30T21:54:22Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Hybrid Improved Document-level Embedding (HIDE) [5.33024001730262]
  ハイブリット改善文書レベルの埋め込みを提案する。 ドメイン情報、音声情報の一部、感情情報をGloVeやWord2Vecなどの既存の単語埋め込みに組み込む。 本稿では,GloVe や Word2Vec などの既存の事前学習語ベクトルの精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-06-01T19:09:13Z)
• Attention Word Embedding [23.997145283950346]
  本稿では,アテンションワード埋め込み(AWE)モデルを紹介し,アテンションメカニズムをCBOWモデルに統合する。 また,サブワード情報を組み込んだAWE-Sを提案する。 AWEとAWE-Sは、様々な単語類似性データセット上で、最先端の単語埋め込みモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-01T14:47:48Z)
• A Survey on Contextual Embeddings [48.04732268018772]
  文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。 本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
  論文  参考訳（メタデータ） (2020-03-16T15:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。