Fugu-MT 論文翻訳(概要): Novi jezi\v{c}ki modeli za srpski jezik

論文の概要: Novi jezi\v{c}ki modeli za srpski jezik

arxiv url: http://arxiv.org/abs/2402.14379v1
Date: Thu, 22 Feb 2024 08:48:21 GMT
ステータス: 処理完了
システム内更新日: 2024-02-23 15:52:47.085604
Title: Novi jezi\v{c}ki modeli za srpski jezik
Title（参考訳）: novi jezi\v{c}ki modeli za srpski jezik
Authors: Mihailo \v{S}kori\'c
Abstract要約: 本稿では,セルビア語におけるトランスフォーマーに基づく言語モデルの開発史について概説する。セルビアで選択されたベクトル化モデルのうち2つの新しいモデルを含む10つは、4つの自然言語処理タスクで比較される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The paper will briefly present the development history of transformer-based language models for the Serbian language. Several new models for text generation and vectorization, trained on the resources of the Society for Language Resources and Technologies, will also be presented. Ten selected vectorization models for Serbian, including two new ones, will be compared on four natural language processing tasks. Paper will analyze which models are the best for each selected task, how does their size and the size of their training sets affect the performance on those tasks, and what is the optimal setting to train the best language models for the Serbian language.
Abstract（参考訳）: 本稿では,セルビア語におけるトランスフォーマーに基づく言語モデルの開発史について概説する。テキスト生成とベクトル化のためのいくつかの新しいモデルも、言語資源および技術協会のリソースに基づいてトレーニングされている。セルビアで選択された10のベクタ化モデルは、2つの新しいベクタ化を含む4つの自然言語処理タスクで比較される。 Paperは、選択されたタスクごとにどのモデルが最適か、そのサイズとトレーニングセットのサイズがそれらのタスクのパフォーマンスにどのように影響するか、そしてセルビア語で最高の言語モデルをトレーニングするのに最適な設定は何か、を分析します。

関連論文リスト

A Dataset and Strong Baselines for Classification of Czech News Texts [0.0]
チェコ最大の分類データセットであるCZE-NEC(CZE-NEC)について述べる。我々は、ニュースソース、ニュースカテゴリ、推論された著者の性別、週の日という4つの分類タスクを定義した。本研究では,市販の大規模生成言語モデルにおいて,言語固有の事前学習エンコーダ解析が優れていることを示す。
論文参考訳（メタデータ） (2023-07-20T07:47:08Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文参考訳（メタデータ） (2022-05-29T08:53:22Z)
TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect [0.0]
表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
論文参考訳（メタデータ） (2021-11-25T15:49:50Z)
Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
論文参考訳（メタデータ） (2021-10-20T10:38:57Z)
Scribosermo: Fast Speech-to-Text models for German and other Languages [69.7571480246023]
本稿では,ドイツ語とスペイン語とフランス語の特殊特徴を持つ音声テキストモデルについて述べる。それらは小さく、RaspberryPiのようなマイクロコントローラ上でリアルタイムで実行される。事前トレーニングされた英語モデルを使用して、比較的小さなデータセットで、コンシューマグレードのハードウェアでトレーニングすることができる。
論文参考訳（メタデータ） (2021-10-15T10:10:34Z)
Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
論文参考訳（メタデータ） (2021-07-16T13:52:01Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Testing pre-trained Transformer models for Lithuanian news clustering [0.0]
英語以外の言語は、英語の事前訓練されたモデルでそのような新しい機会を活用できなかった。我々は、リトアニア語ニュースクラスタリングのタスクの符号化として、事前訓練された多言語BERT、XLM-R、および古い学習テキスト表現法を比較した。この結果から, 単語ベクトルを超えるように微調整できるが, 特別な訓練を施した doc2vec 埋め込みよりもはるかに低いスコアが得られた。
論文参考訳（メタデータ） (2020-04-03T14:41:54Z)
Give your Text Representation Models some Love: the Case for Basque [24.76979832867631]
単語の埋め込みと事前訓練された言語モデルは、テキストのリッチな表現を構築することができる。多くの小規模企業や研究グループは、サードパーティによって事前訓練され利用可能になったモデルを使用する傾向にある。これは、多くの言語において、モデルはより小さい(またはより低い)コーパスで訓練されているため、亜最適である。より大規模なバスク語コーパスを用いて学習したモノリンガルモデルでは、下流のNLPタスクで利用可能なバージョンよりもはるかに優れた結果が得られることを示す。
論文参考訳（メタデータ） (2020-03-31T18:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。