論文の概要: Multilingual Sequence-to-Sequence Models for Hebrew NLP
- arxiv url: http://arxiv.org/abs/2212.09682v1
- Date: Mon, 19 Dec 2022 18:10:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 16:56:33.616648
- Title: Multilingual Sequence-to-Sequence Models for Hebrew NLP
- Title(参考訳): ヘブライ語NLPの多言語列列列モデル
- Authors: Matan Eyal, Hila Noga, Roee Aharoni, Idan Szpektor, Reut Tsarfaty
- Abstract要約: シーケンス・ツー・シーケンス生成アーキテクチャはヘブライ語のような形態的にリッチな言語(MRL)により適していることを示す。
我々は,ヘブライ語NLPパイプラインのタスクをテキスト・テキスト・タスクとしてキャストすることで,マルチリンガルで事前訓練されたシーケンス・ツー・シーケンスモデルをmT5として活用できることを実証した。
- 参考スコア(独自算出の注目度): 16.010560946005473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work attributes progress in NLP to large language models (LMs) with
increased model size and large quantities of pretraining data. Despite this,
current state-of-the-art LMs for Hebrew are both under-parameterized and
under-trained compared to LMs in other languages. Additionally, previous work
on pretrained Hebrew LMs focused on encoder-only models. While the encoder-only
architecture is beneficial for classification tasks, it does not cater well for
sub-word prediction tasks, such as Named Entity Recognition, when considering
the morphologically rich nature of Hebrew. In this paper we argue that
sequence-to-sequence generative architectures are more suitable for LLMs in the
case of morphologically rich languages (MRLs) such as Hebrew. We demonstrate
that by casting tasks in the Hebrew NLP pipeline as text-to-text tasks, we can
leverage powerful multilingual, pretrained sequence-to-sequence models as mT5,
eliminating the need for a specialized, morpheme-based, separately fine-tuned
decoder. Using this approach, our experiments show substantial improvements
over previously published results on existing Hebrew NLP benchmarks. These
results suggest that multilingual sequence-to-sequence models present a
promising building block for NLP for MRLs.
- Abstract(参考訳): 近年のNLPから大規模言語モデル (LM) への進歩は, モデルサイズが増加し, 事前学習データが多くなった。
それにもかかわらず、現在のヘブライ語における最先端のLMは、他の言語でのLMと比較して、パラメータが低く、訓練を受けていない。
さらに、前任のヘブライのLMはエンコーダのみのモデルに重点を置いていた。
エンコーダのみのアーキテクチャは分類タスクに有用であるが、ヘブライ語の形態学的に豊かな性質を考えると、名前付きエンティティ認識のようなサブワード予測タスクには適さない。
本稿では、ヘブライ語のような形態的にリッチな言語(MRL)の場合、シーケンス・ツー・シーケンス生成アーキテクチャはLLMにより適していると論じる。
我々は,ヘブライ語NLPパイプラインのタスクをテキスト・トゥ・テキストタスクとしてキャストすることで,マルチリンガルで事前訓練されたシーケンス・ツー・シーケンスモデルをmT5として活用できることを実証した。
提案手法を用いて,既存のヘブライ NLP ベンチマークで得られた結果よりも大幅に改善した。
これらの結果は,多言語列列列モデルがMRLのためのNLP構築ブロックとなることを示唆している。
関連論文リスト
- PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for
Translation with Semi-Supervised Pseudo-Parallel Document Generation [5.004814662623874]
本稿では,多言語事前学習のための高品質な擬似並列データを生成する,新しい半教師付きSPDGを提案する。
実験の結果, PEACH はmT5 と mBART を様々な翻訳タスクで訓練する上で, 既存の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-04-03T18:19:26Z) - Modeling Sequential Sentence Relation to Improve Cross-lingual Dense
Retrieval [87.11836738011007]
マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。
MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。
モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
論文 参考訳(メタデータ) (2023-02-03T09:54:27Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Breaking Character: Are Subwords Good Enough for MRLs After All? [36.11778282905458]
単語ピースの代わりに文字列よりもBERTスタイルの言語モデルを事前学習する。
我々は,3つの高度に複雑で曖昧なMRLのサブワードをベースとした,TavBERTと呼ばれるモデルと,現代のPLMを比較した。
これらの結果から,TavBERTは表層タスクを軽度に改善するのに対し,サブワードベースのPLMは意味タスクの処理性能が著しく向上することがわかった。
論文 参考訳(メタデータ) (2022-04-10T18:54:43Z) - LaoPLM: Pre-trained Language Models for Lao [3.2146309563776416]
事前訓練された言語モデル(PLM)は、コンテキストにおける異なるレベルの概念をキャプチャし、普遍的な言語表現を生成する。
PTMは、ほとんどのNLPアプリケーションで広く使われているが、Lao NLP研究ではあまり使われていない。
ラオス語の資源管理状況を軽減するために,テキスト分類データセットを構築した。
本稿では,ラオスにおけるトランスフォーマーベースのPTMを,BERT-small,BERT-base,ELECTRA-small,ELECTRA-baseの4つのバージョンで提案する。
論文 参考訳(メタデータ) (2021-10-12T11:13:07Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。
その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。
我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
論文 参考訳(メタデータ) (2020-04-07T21:21:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。