Fugu-MT 論文翻訳(概要): TookaBERT: A Step Forward for Persian NLU

論文の概要: TookaBERT: A Step Forward for Persian NLU

arxiv url: http://arxiv.org/abs/2407.16382v1
Date: Tue, 23 Jul 2024 11:12:47 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 17:36:04.695821
Title: TookaBERT: A Step Forward for Persian NLU
Title（参考訳）: TookaBERT:ペルシアのNLUの一歩
Authors: MohammadAli SadraeiJavaheri, Ali Moghaddaszadeh, Milad Molazadeh, Fariba Naeiji, Farnaz Aghababaloo, Hamideh Rafiee, Zahra Amirmahani, Tohid Abedini, Fatemeh Zahra Sheikhi, Amirmohammad Salehoof,
Abstract要約: ペルシャのデータを使って2つの新しいBERTモデルをトレーニングし導入する。 14種類のペルシアの自然言語理解(NLU)タスクにまたがる既存の7つのモデルと比較する。我々のより大きなモデルは競争に勝り、少なくとも2.8ポイントの平均的な改善を示している。
参考スコア（独自算出の注目度）: 3.2769173057785212
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The field of natural language processing (NLP) has seen remarkable advancements, thanks to the power of deep learning and foundation models. Language models, and specifically BERT, have been key players in this progress. In this study, we trained and introduced two new BERT models using Persian data. We put our models to the test, comparing them to seven existing models across 14 diverse Persian natural language understanding (NLU) tasks. The results speak for themselves: our larger model outperforms the competition, showing an average improvement of at least +2.8 points. This highlights the effectiveness and potential of our new BERT models for Persian NLU tasks.
Abstract（参考訳）: 自然言語処理(NLP)の分野は、ディープラーニングと基礎モデルの力のおかげで、目覚ましい進歩を遂げている。言語モデル、特にBERTは、この進歩において重要な役割を担っている。本研究では,ペルシャデータを用いた2つの新しいBERTモデルを訓練し,導入した。当社のモデルを、14のペルシャの自然言語理解(NLU)タスクの7つの既存モデルと比較して、テストに当てはめました。我々のより大きなモデルは競争に勝り、少なくとも2.8ポイントの平均的な改善を示す。これは、ペルシャのNLUタスクに対する新しいBERTモデルの有効性と可能性を強調します。

関連論文リスト

On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文参考訳（メタデータ） (2024-01-15T15:11:15Z)
L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi [0.7874708385247353]
この研究は、ヒンディー語とマラティ語という2つの低リソースのインドの言語に焦点を当てている。機械翻訳を用いた合成NLIとSTSデータセットを用いて,これらの言語のための文-BERTモデルを訓練する。我々は,NLI事前学習とSTSbファインチューニングの戦略が,ヒンディー語とマラタイ語の文類似性モデルの生成に有効であることを示す。
論文参考訳（メタデータ） (2022-11-21T05:15:48Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文参考訳（メタデータ） (2021-11-18T06:48:00Z)
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文参考訳（メタデータ） (2021-11-01T20:08:05Z)
Pre-Training BERT on Arabic Tweets: Practical Considerations [11.087099497830552]
トレーニングセットのサイズ、形式と非公式のアラビア語の混合、言語前処理の5つのBERTモデルを事前訓練した。すべてアラビア方言とソーシャルメディアをサポートすることを意図している。新しいモデルは、いくつかの下流タスクで最新の結果を達成します。
論文参考訳（メタデータ） (2021-02-21T20:51:33Z)
DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文参考訳（メタデータ） (2020-06-05T19:54:34Z)
ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
論文参考訳（メタデータ） (2020-05-26T05:05:32Z)
Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。また,RoBERTaを改良したMacBERTモデルを提案する。
論文参考訳（メタデータ） (2020-04-29T02:08:30Z)
What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
本稿では,言語固有のBERTモデルにおける技術の現状について述べる。本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
論文参考訳（メタデータ） (2020-03-05T20:42:51Z)
RobBERT: a Dutch RoBERTa-based Language Model [9.797319790710711]
我々はRoBERTaを使ってRobBERTと呼ばれるオランダ語のモデルをトレーニングします。各種タスクにおけるその性能および微調整データセットサイズの重要性を計測する。 RobBERTは様々なタスクの最先端の結果を改善し、特に小さなデータセットを扱う場合、他のモデルよりもはるかに優れています。
論文参考訳（メタデータ） (2020-01-17T13:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。