論文の概要: Multi hash embeddings in spaCy

• arxiv url: http://arxiv.org/abs/2212.09255v1
• Date: Mon, 19 Dec 2022 06:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:28:36.320034
• Title: Multi hash embeddings in spaCy
• Title（参考訳）: SpaCyにおけるマルチハッシュ埋め込み
• Authors: Lester James Miranda, \'Akos K\'ad\'ar, Adriane Boyd, Sofie Van Landeghem, Anders S{\o}gaard, Matthew Honnibal
• Abstract要約: spaCyは、単語の複数埋め込み表現を生成する機械学習システムである。 SpaCyのデフォルトの埋め込み層は、ハッシュ埋め込み層である。 この技術レポートでは、いくつかの歴史を概説し、paCyに埋め込み手法を詳しく紹介します。
• 参考スコア（独自算出の注目度）: 1.6790532021482656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The distributed representation of symbols is one of the key technologies in machine learning systems today, playing a pivotal role in modern natural language processing. Traditional word embeddings associate a separate vector with each word. While this approach is simple and leads to good performance, it requires a lot of memory for representing a large vocabulary. To reduce the memory footprint, the default embedding layer in spaCy is a hash embeddings layer. It is a stochastic approximation of traditional embeddings that provides unique vectors for a large number of words without explicitly storing a separate vector for each of them. To be able to compute meaningful representations for both known and unknown words, hash embeddings represent each word as a summary of the normalized word form, subword information and word shape. Together, these features produce a multi-embedding of a word. In this technical report we lay out a bit of history and introduce the embedding methods in spaCy in detail. Second, we critically evaluate the hash embedding architecture with multi-embeddings on Named Entity Recognition datasets from a variety of domains and languages. The experiments validate most key design choices behind spaCy's embedders, but we also uncover a few surprising results.
• Abstract（参考訳）: シンボルの分散表現は、今日の機械学習システムにおける重要な技術の1つであり、現代の自然言語処理において重要な役割を果たす。 伝統的な単語埋め込みは別個のベクトルと各単語を関連付ける。 このアプローチは単純で優れたパフォーマンスをもたらすが、大きな語彙を表現するには大量のメモリを必要とする。 メモリフットプリントを削減するため、spacyのデフォルト組込み層はハッシュ組込み層である。 これは従来の埋め込みの確率論的近似であり、各単語に対して個別のベクトルを明示的に記憶することなく、多数の単語に対してユニークなベクトルを提供する。 既知の単語と未知語の両方の有意義な表現を計算できるようにするため、ハッシュ埋め込みは、各単語を正規化された単語形式、サブワード情報、単語形状の要約として表現する。 これらの特徴が組み合わさって単語の多層埋め込みを生み出す。 この技術レポートでは、いくつかの歴史を概説し、paCyに埋め込み手法を詳しく紹介します。 第二に、様々なドメインや言語から名前付きエンティティ認識データセットに複数埋め込みを施したハッシュ埋め込みアーキテクチャを批判的に評価する。 実験では、paCyの埋め込み装置の背後にある重要な設計上の選択を検証しました。

関連論文リスト

• Partial Colexifications Improve Concept Embeddings [1.3351610617039973]
  概念埋め込みを有意義な方法で改善するために,部分的コレキシフィケーションがいかに有効かを示す。 学習した埋め込みは、語彙的類似度評価、セマンティックシフトの記録例、および単語関連データに対して評価される。
  論文  参考訳（メタデータ） (2025-02-13T19:58:00Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT [59.245414547751636]
  本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。 当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。 我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
  論文  参考訳（メタデータ） (2024-02-19T15:04:53Z)
• Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP [22.772546707304766]
  単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。 すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
  論文  参考訳（メタデータ） (2021-12-20T13:04:18Z)
• Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection [46.97185212695267]
  本稿では,この基本戦略に従って単語表現を学習する手法を提案する。 我々は、文脈を符号化するワードベクトルの袋ではなく、文脈化された言語モデル(CLM)を利用する。 この単純な戦略は、単語埋め込みや既存のCLMベースの戦略よりも意味的特性をより予測し、高品質な単語ベクトルに繋がることを示す。
  論文  参考訳（メタデータ） (2021-06-15T08:02:42Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• Accelerating Text Mining Using Domain-Specific Stop Word Lists [57.76576681191192]
  本稿では,超平面的アプローチと呼ばれるドメイン固有語の自動抽出手法を提案する。 ハイパープレーンベースのアプローチは、無関係な特徴を排除することによって、テキストの寸法を著しく削減することができる。 その結果,超平面型アプローチはコーパスの寸法を90%削減し,相互情報より優れることがわかった。
  論文  参考訳（メタデータ） (2020-11-18T17:42:32Z)
• Using Holographically Compressed Embeddings in Question Answering [0.0]
  本研究では,事前学習した埋め込みのホログラフィック圧縮を用いてトークン,そのパート・オブ・音声,名前付きエンティティタイプを表現する。 この実装は、修正された質問応答の繰り返しディープラーニングネットワークにおいて、意味的関係が保存され、高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-14T18:29:49Z)
• Supervised Understanding of Word Embeddings [1.160208922584163]
  単語埋め込みにおける線形キーワードレベル分類器の形で教師付きプロジェクションを得た。 我々は,本手法が元の埋め込み次元の解釈可能な投影を生成することを示した。
  論文  参考訳（メタデータ） (2020-06-23T20:13:42Z)
• All Word Embeddings from One Embedding [23.643059189673473]
  自然言語処理のためのニューラルネットワークベースのモデルでは、パラメータの最大の部分は単語の埋め込みで構成されていることが多い。 本研究では,パラメータの総数を削減するために,すべての単語に対する埋め込みを共有埋め込みを変換することによって表現する。 提案手法であるALONEは,単語固有のが学習不能なフィルタベクトルを用いて,単語の埋め込みを改良し,単語の埋め込みを構築する。
  論文  参考訳（メタデータ） (2020-04-25T07:38:08Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。