論文の概要: L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages

• arxiv url: http://arxiv.org/abs/2211.11418v1
• Date: Mon, 21 Nov 2022 13:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 17:59:40.747544
• Title: L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages
• Title（参考訳）: L3Cube-HindBERTとDevBERT:Devanagariに基づくヒンディー語とマラティー語のための事前学習BERTトランスフォーマモデル
• Authors: Raviraj Joshi
• Abstract要約: ヒンディー語単言語コーパスで事前学習したヒンディー語 BERT モデル L3Cube-HindBERT について述べる。 私たちは、MarathiとHindiのモノリンガルデータセットに基づいてトレーニングされたDevanagari BERTモデルであるDevBERTをリリースします。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The monolingual Hindi BERT models currently available on the model hub do not perform better than the multi-lingual models on downstream tasks. We present L3Cube-HindBERT, a Hindi BERT model pre-trained on Hindi monolingual corpus. Further, since Indic languages, Hindi and Marathi share the Devanagari script, we train a single model for both languages. We release DevBERT, a Devanagari BERT model trained on both Marathi and Hindi monolingual datasets. We evaluate these models on downstream Hindi and Marathi text classification and named entity recognition tasks. The HindBERT and DevBERT-based models show superior performance compared to their multi-lingual counterparts. These models are shared at https://huggingface.co/l3cube-pune .
• Abstract（参考訳）: 現在モデルハブで利用可能なモノリンガルHindi BERTモデルは、下流タスクのマルチリンガルモデルよりもパフォーマンスが良くない。 ヒンディー語単言語コーパスで事前学習したヒンディー語 BERT モデル L3Cube-HindBERT を提案する。 さらに、ヒンディー語、マラティ語がデヴァナガリー文字を共有しているため、両方の言語に対して単一のモデルを訓練する。 私たちは、MarathiとHindiのモノリンガルデータセットに基づいてトレーニングされたDevanagari BERTモデルであるDevBERTをリリースします。 これらのモデルをヒンディー語下流とマラティ語のテキスト分類と名前付きエンティティ認識タスクで評価した。 HindBERTとDevBERTベースのモデルは、多言語モデルに比べて優れた性能を示している。 これらのモデルはhttps://huggingface.co/l3cube-puneで共有される。

関連論文リスト

• Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models [57.76998376458017]
  私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。 モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。 本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
  論文  参考訳（メタデータ） (2023-08-30T17:07:17Z)
• Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
  多言語変換器(MMT)は多言語間変換学習に広く用いられている。 MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。 本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:52Z)
• L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT [0.7874708385247353]
  SBERT (Multilingual Sentence-BERT) モデルは、異なる言語を共通表現空間にマッピングする。 合成コーパスを用いたバニラ多言語BERTモデルから多言語文BERTモデルへ変換する手法を提案する。 多言語BERTモデルは本質的に言語間学習者であり、この単純なベースライン微調整アプローチは、例外的な言語間特性をもたらす。
  論文  参考訳（メタデータ） (2023-04-22T15:45:40Z)
• L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi [0.7874708385247353]
  この研究は、ヒンディー語とマラティ語という2つの低リソースのインドの言語に焦点を当てている。 機械翻訳を用いた合成NLIとSTSデータセットを用いて,これらの言語のための文-BERTモデルを訓練する。 我々は,NLI事前学習とSTSbファインチューニングの戦略が,ヒンディー語とマラタイ語の文類似性モデルの生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-11-21T05:15:48Z)
• Mono vs Multilingual BERT for Hate Speech Detection and Text Classification: A Case Study in Marathi [0.966840768820136]
  マラーティー語に焦点をあて、ヘイトスピーチの検出、感情分析、マラティー語における単純なテキスト分類のためのデータセットのモデルを評価する。 我々は,mBERT,indicBERT,xlm-RoBERTaなどの標準多言語モデルを用い,MahaBERT,MahaALBERT,MahaRoBERTaと比較した。 単言語MahaBERTをベースとしたモデルでは,多言語からの文の埋め込みに比べて表現が豊富であることを示す。
  論文  参考訳（メタデータ） (2022-04-19T05:07:58Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Towards Fully Bilingual Deep Language Modeling [1.3455090151301572]
  両言語のパフォーマンスを損なうことなく、2つの遠隔関連言語に対してバイリンガルモデルを事前学習することが可能かを検討する。 フィンランド英語のバイリンガルBERTモデルを作成し、対応するモノリンガルモデルを評価するために使用されるデータセットの性能を評価する。 我々のバイリンガルモデルは、GLUE上のGoogleのオリジナル英語BERTと同等に動作し、フィンランドのNLPタスクにおける単言語フィンランドBERTのパフォーマンスとほぼ一致します。
  論文  参考訳（メタデータ） (2020-10-22T12:22:50Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• XPersona: Evaluating Multilingual Personalized Chatbot [76.00426517401894]
  我々はペルソナ・チャットの多言語拡張(XPersona)を提案する。 我々のデータセットには、多言語パーソナライズされたエージェントの構築と評価のための英語以外の6言語でのペルソナ会話が含まれています。
  論文  参考訳（メタデータ） (2020-03-17T07:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。