論文の概要: Comparison of Czech Transformers on Text Classification Tasks

• arxiv url: http://arxiv.org/abs/2107.10042v1
• Date: Wed, 21 Jul 2021 12:22:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 14:17:18.904011
• Title: Comparison of Czech Transformers on Text Classification Tasks
• Title（参考訳）: テキスト分類タスクにおけるチェコ語トランスフォーマーの比較
• Authors: Jan Lehe\v{c}ka, Jan \v{S}vec
• Abstract要約: チェコ語用モノリンガルトランスフォーマーの事前学習の進捗を報告し、我々のモデルを公開して研究コミュニティに貢献する。 本稿では,トランスフォーマーの事前学習手法と,テキスト分類タスクにおける事前学習モデルの比較について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present our progress in pre-training monolingual Transformers for Czech and contribute to the research community by releasing our models for public. The need for such models emerged from our effort to employ Transformers in our language-specific tasks, but we found the performance of the published multilingual models to be very limited. Since the multilingual models are usually pre-trained from 100+ languages, most of low-resourced languages (including Czech) are under-represented in these models. At the same time, there is a huge amount of monolingual training data available in web archives like Common Crawl. We have pre-trained and publicly released two monolingual Czech Transformers and compared them with relevant public models, trained (at least partially) for Czech. The paper presents the Transformers pre-training procedure as well as a comparison of pre-trained models on text classification task from various domains.
• Abstract（参考訳）: 本稿では,チェコ語用モノリンガルトランスフォーマーの事前学習の進捗について述べるとともに,我々のモデルを公開して研究コミュニティに貢献する。 このようなモデルの必要性は、言語固有のタスクにTransformerを使うという我々の取り組みから生まれましたが、公開された多言語モデルの性能は非常に限られていることに気付きました。 多言語モデルは通常100以上の言語から事前学習されているため、チェコ語を含むほとんどの低ソース言語はこれらのモデルでは過小評価されている。 同時に、common crawlのようなwebアーカイブで利用可能な、大量の単言語トレーニングデータが存在している。 チェコ語トランスフォーマー2台を事前訓練して公開し、チェコ語用に訓練された(少なくとも一部は)関連する公開モデルと比較した。 本稿では,トランスフォーマーの事前学習手法と,テキスト分類タスクにおける事前学習モデルの比較について述べる。

関連論文リスト

• Language Models on a Diet: Cost-Efficient Development of Encoders for Closely-Related Languages via Additional Pretraining [4.38070902806635]
  クロアチア語、セルビア語、ボスニア語、モンテネグロ語のベンチマークを設定しました。 我々は、利用可能な多言語モデルの追加事前学習により、専用のin-scratchモデルに匹敵する性能が得られることを示す。 また、Slovenianの場合、隣接する言語は、最終モデルの性能にほとんど、あるいは全く損なわない追加の事前訓練に含めることができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T11:55:44Z)
• Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
  多言語変換器(MMT)は多言語間変換学習に広く用いられている。 MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。 本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:52Z)
• Revisiting Machine Translation for Cross-lingual Classification [91.43729067874503]
  この分野のほとんどの研究は、機械翻訳コンポーネントではなく多言語モデルに焦点を当てている。 より強力なMTシステムを用いて、原文のトレーニングと機械翻訳テキストの推論のミスマッチを緩和することにより、翻訳テストは以前想定していたよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T16:56:10Z)
• MiLMo:Minority Multilingual Pre-trained Language Model [1.6409017540235764]
  本稿では、マイノリティ言語タスクにおいてより優れた性能を発揮する、MLMoという多言語事前学習モデルを構築した。 テキスト分類タスクにおいて,Word2vecモデルと事前学習モデルを比較することにより,少数言語の下流タスク研究に最適なスキームを提供する。
  論文  参考訳（メタデータ） (2022-12-04T09:28:17Z)
• Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
  我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。 本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
  論文  参考訳（メタデータ） (2022-04-05T17:12:53Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks [1.2691047660244335]
  BERT (Bidirectional Representations from Transformers) と ALBERT (A Lite BERT) は、言語モデルの事前学習方法である。 ポルトガルでトレーニングされたBERTとAlbertモデルを利用可能にしています。
  論文  参考訳（メタデータ） (2020-07-19T19:13:20Z)
• Testing pre-trained Transformer models for Lithuanian news clustering [0.0]
  英語以外の言語は、英語の事前訓練されたモデルでそのような新しい機会を活用できなかった。 我々は、リトアニア語ニュースクラスタリングのタスクの符号化として、事前訓練された多言語BERT、XLM-R、および古い学習テキスト表現法を比較した。 この結果から, 単語ベクトルを超えるように微調整できるが, 特別な訓練を施した doc2vec 埋め込みよりもはるかに低いスコアが得られた。
  論文  参考訳（メタデータ） (2020-04-03T14:41:54Z)
• Give your Text Representation Models some Love: the Case for Basque [24.76979832867631]
  単語の埋め込みと事前訓練された言語モデルは、テキストのリッチな表現を構築することができる。 多くの小規模企業や研究グループは、サードパーティによって事前訓練され利用可能になったモデルを使用する傾向にある。 これは、多くの言語において、モデルはより小さい(またはより低い)コーパスで訓練されているため、亜最適である。 より大規模なバスク語コーパスを用いて学習したモノリンガルモデルでは、下流のNLPタスクで利用可能なバージョンよりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-03-31T18:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。