論文の概要: Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction

• arxiv url: http://arxiv.org/abs/2002.11004v1
• Date: Tue, 25 Feb 2020 16:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:17:08.096232
• Title: Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction
• Title（参考訳）: 単語類似度予測のための言語非依存のトークン化
• Authors: Danushka Bollegala, Ryuichi Kiryo, Kosuke Tsujino, Haruki Yukawa
• Abstract要約: 言語に依存しないトークン化(LIT)メソッドはラベル付き言語リソースや語彙を必要としない。 言語固有のトークン化(LST)手法は、長い歴史と確立された歴史を持ち、慎重に作成された語彙とトレーニングリソースを用いて開発されている。 意味的類似度測定を多種多様な言語を対象とした評価課題として用いた2つの手法を実証的に比較した。
• 参考スコア（独自算出の注目度）: 12.376752724719005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-independent tokenisation (LIT) methods that do not require labelled language resources or lexicons have recently gained popularity because of their applicability in resource-poor languages. Moreover, they compactly represent a language using a fixed size vocabulary and can efficiently handle unseen or rare words. On the other hand, language-specific tokenisation (LST) methods have a long and established history, and are developed using carefully created lexicons and training resources. Unlike subtokens produced by LIT methods, LST methods produce valid morphological subwords. Despite the contrasting trade-offs between LIT vs. LST methods, their performance on downstream NLP tasks remain unclear. In this paper, we empirically compare the two approaches using semantic similarity measurement as an evaluation task across a diverse set of languages. Our experimental results covering eight languages show that LST consistently outperforms LIT when the vocabulary size is large, but LIT can produce comparable or better results than LST in many languages with comparatively smaller (i.e. less than 100K words) vocabulary sizes, encouraging the use of LIT when language-specific resources are unavailable, incomplete or a smaller model is required. Moreover, we find that smoothed inverse frequency (SIF) to be an accurate method to create word embeddings from subword embeddings for multilingual semantic similarity prediction tasks. Further analysis of the nearest neighbours of tokens show that semantically and syntactically related tokens are closely embedded in subword embedding spaces
• Abstract（参考訳）: ラベル付き言語リソースや辞書を必要としない言語非依存のトークン化(LIT)メソッドが最近人気を集めている。 さらに、固定サイズの語彙を用いて言語をコンパクトに表現し、目に見えない単語や稀な単語を効率的に処理することができる。 一方、言語固有のトークン化(LST)手法は、長い歴史と確立された歴史を持ち、慎重に作られた語彙と訓練資源を用いて開発されている。 LITメソッドが生成するサブトークンとは異なり、LSTメソッドは有効なモルフォロジーのサブワードを生成する。 LITとLSTメソッドのトレードオフは対照的だが、下流のNLPタスクのパフォーマンスは依然として不明である。 本稿では,意味的類似度測定を多言語間の評価課題として用いた2つの手法を実証的に比較する。 8言語を対象とする実験結果から,LSTは語彙サイズが大きい場合にはLITを一貫して上回るが,LITは比較的小さい(100K未満)語彙の多くの言語ではLSTに匹敵する結果が得られ,言語固有のリソースが利用できない場合,不完全な場合,あるいはモデルが小さい場合,LITの使用が奨励される。 さらに,多言語意味的類似性予測タスクのためのサブワード埋め込みから単語埋め込みを生成するための高精度な手法として,平滑化逆周波数 (sif) を見出した。 近接するトークンのさらなる分析は、意味的および構文的関連トークンがサブワード埋め込み空間に密着していることを示している。

関連論文リスト

• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• A Vocabulary-Free Multilingual Neural Tokenizer for End-to-End Task Learning [8.052271364177988]
  サブワードトークン化は、最近のNLPモデルで一般的に使われる入力前処理のステップである。 本稿では,サブワードトークン化からセグメンテーション情報を抽出し,語彙自由なニューラルトークン化手法を提案する。 我々のトークンライザは、多言語(NLI)タスクとコードスイッチング(センチメント分析)タスクのパフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2022-04-22T16:50:49Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• A Simple and Efficient Probabilistic Language model for Code-Mixed Text [0.0]
  コード混合テキストに対する効率的な単語埋め込みを構築するための単純な確率的アプローチを提案する。 双方向LSTMとSVMを用いた分類作業の有効性を検討した。
  論文  参考訳（メタデータ） (2021-06-29T05:37:57Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。