Fugu-MT 論文翻訳(概要): RobeCzech: Czech RoBERTa, a monolingual contextualized language representation model

論文の概要: RobeCzech: Czech RoBERTa, a monolingual contextualized language representation model

arxiv url: http://arxiv.org/abs/2105.11314v1
Date: Mon, 24 May 2021 14:50:04 GMT
ステータス: 処理完了
システム内更新日: 2021-05-25 15:19:49.072870
Title: RobeCzech: Czech RoBERTa, a monolingual contextualized language representation model
Title（参考訳）: robeczech: czech roberta : 単言語文脈化言語表現モデル
Authors: Milan Straka, Jakub N\'aplava, Jana Strakov\'a, David Samuel
Abstract要約: チェコ語データに基づいて学習した単言語RoBERTa言語表現モデルであるRobeCzechを提案する。また,RobeCzechは,チェコ語で訓練された文脈言語表現モデルよりもかなり優れていることを示す。
参考スコア（独自算出の注目度）: 5.301746181893877
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present RobeCzech, a monolingual RoBERTa language representation model trained on Czech data. RoBERTa is a robustly optimized Transformer-based pretraining approach. We show that RobeCzech considerably outperforms equally-sized multilingual and Czech-trained contextualized language representation models, surpasses current state of the art in all five evaluated NLP tasks and reaches state-of-theart results in four of them. The RobeCzech model is released publicly at https://hdl.handle.net/11234/1-3691 and https://huggingface.co/ufal/robeczech-base.
Abstract（参考訳）: チェコ語データに基づく単言語ロベルタ言語表現モデルであるrobeczechを提案する。 RoBERTaは、堅牢に最適化されたTransformerベースの事前トレーニングアプローチである。我々は,RobeCzechが多言語およびチェコ語で訓練された文脈言語表現モデルよりもかなり優れており,評価された5つのNLPタスクすべてにおいて,最先端の言語表現モデルよりも優れており,そのうち4つが最先端の成果であることを示した。 RobeCzechモデルはhttps://hdl.handle.net/11234/1-3691とhttps://huggingface.co/ufal/robeczech-baseで公開されている。

関連論文リスト

Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak [1.8584828111764833]
チェコの既存のトレーニング済みのWav2Vec 2.0モデルからスロバキアへの移行学習のアプローチを検討している。我々のスロバキアモデルは、事前学習フェーズの開始時にチェコのモデルからウェイトを初期化する際に、最良の結果を得た。
論文参考訳（メタデータ） (2023-06-07T12:58:46Z)
ML-SUPERB: Multilingual Speech Universal PERformance Benchmark [73.65853301350042]
音声処理Universal PERformance Benchmark (SUPERB) は、音声処理タスクにおける自己監督学習(SSL)モデルの性能をベンチマークするためのリーダーボードである。本稿では,言語認識と言語識別の両方を考慮した多言語SUPERBを提案する。 SUPERBベンチマークと同様、音声SSLモデルはFBANKよりも性能が大幅に向上する。
論文参考訳（メタデータ） (2023-05-18T00:01:27Z)
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
論文参考訳（メタデータ） (2022-11-02T14:54:45Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Are the Multilingual Models Better? Improving Czech Sentiment with Transformers [1.5229257192293197]
チェコ語における極性検出の課題を3つの感情極性データセットを用いて検討する。我々は5つの多言語モデルと3つの単言語モデルを用いて微調整および実験を行う。 3つのデータセットすべてに対して、最先端の新たな結果が得られます。
論文参考訳（メタデータ） (2021-08-24T10:50:01Z)
Comparison of Czech Transformers on Text Classification Tasks [0.0]
チェコ語用モノリンガルトランスフォーマーの事前学習の進捗を報告し、我々のモデルを公開して研究コミュニティに貢献する。本稿では,トランスフォーマーの事前学習手法と,テキスト分類タスクにおける事前学習モデルの比較について述べる。
論文参考訳（メタデータ） (2021-07-21T12:22:34Z)
Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文参考訳（メタデータ） (2021-04-15T02:36:49Z)
Czert -- Czech BERT-like Model for Language Representation [0.0]
本稿では, BERT と ALBERT アーキテクチャに基づく最初のチェコ語単言語表現モデルの学習過程について述べる。私たちは、チェコのデータを含む多言語モデルよりも50倍多い340K以上の文でモデルを事前にトレーニングします。
論文参考訳（メタデータ） (2021-03-24T07:27:28Z)
Reading Comprehension in Czech via Machine Translation and Cross-lingual Transfer [2.8273701718153563]
この研究は、手動で注釈付けされたチェコのトレーニングデータを必要とせずに、チェコ語で読みやすいシステムを構築することに焦点を当てている。我々はSQuAD 1.1とSQuAD 2.0データセットをチェコ語に自動翻訳し、トレーニングと開発データを作成しました。その後,複数のBERTおよびXLM-RoBERTaベースラインモデルの訓練と評価を行った。
論文参考訳（メタデータ） (2020-07-03T13:09:37Z)
Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
論文参考訳（メタデータ） (2020-06-24T18:25:05Z)
Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。また,RoBERTaを改良したMacBERTモデルを提案する。
論文参考訳（メタデータ） (2020-04-29T02:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。