論文の概要: ScandEval: A Benchmark for Scandinavian Natural Language Processing
- arxiv url: http://arxiv.org/abs/2304.00906v1
- Date: Mon, 3 Apr 2023 11:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:50:00.771978
- Title: ScandEval: A Benchmark for Scandinavian Natural Language Processing
- Title(参考訳): ScandEval: スカンジナビアの自然言語処理ベンチマーク
- Authors: Dan Saattrup Nielsen
- Abstract要約: 本稿では,スカンジナビア語における4つのタスクに対して事前学習したモデルをベンチマークする,スカンジナビアのベンチマークプラットフォームであるScandEvalを紹介する。
言語的受容性と質問応答という2つのタスクで使用されるデータセットは新しいものだ。
我々は,Hugging Face Hubにアップロードされたモデルを,再現可能な結果でベンチマークすることができるPythonパッケージとコマンドラインインターフェースであるScandevalを開発し,リリースする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a Scandinavian benchmarking platform, ScandEval, which
can benchmark any pretrained model on four different tasks in the Scandinavian
languages. The datasets used in two of the tasks, linguistic acceptability and
question answering, are new. We develop and release a Python package and
command-line interface, scandeval, which can benchmark any model that has been
uploaded to the Hugging Face Hub, with reproducible results. Using this
package, we benchmark more than 100 Scandinavian or multilingual models and
present the results of these in an interactive online leaderboard, as well as
provide an analysis of the results. The analysis shows that there is
substantial cross-lingual transfer among the Mainland Scandinavian languages
(Danish, Swedish and Norwegian), with limited cross-lingual transfer between
the group of Mainland Scandinavian languages and the group of Insular
Scandinavian languages (Icelandic and Faroese). The benchmarking results also
show that the investment in language technology in Norway, Sweden and Denmark
has led to language models that outperform massively multilingual models such
as XLM-RoBERTa and mDeBERTaV3. We release the source code for both the package
and leaderboard.
- Abstract(参考訳): 本稿では,スカンジナビア言語の4つの異なるタスクに対して事前学習されたモデルをベンチマークできる,スカンジナビアのベンチマークプラットフォームであるscandevalを紹介する。
言語受容性と質問応答性という2つのタスクで使用されるデータセットは新しいものである。
我々は,Hugging Face Hubにアップロードされたモデルを,再現可能な結果でベンチマークすることができるPythonパッケージとコマンドラインインターフェースであるScandevalを開発し,リリースする。
このパッケージを使って100以上のスカンジナビア語または多言語モデルのベンチマークを行い、それらの結果をインタラクティブなオンラインリーダーボードに提示し、結果の分析を提供する。
この分析は、スカンディナヴィア語族(デンマーク語、スウェーデン語、ノルウェー語)とインスキュラ・スカンディナヴィア語族(デンマーク語、スウェーデン語、ノルウェー語)の間でかなりの言語間移動が存在することを示している。
ベンチマークの結果は、ノルウェー、スウェーデン、デンマークにおける言語技術への投資が、XLM-RoBERTaやmDeBERTaV3のような多言語モデルよりも優れた言語モデルを生み出したことを示している。
パッケージとリーダーボードの両方のソースコードをリリースします。
関連論文リスト
- GradSim: Gradient-Based Language Grouping for Effective Multilingual
Training [13.730907708289331]
勾配類似度に基づく言語グループ化手法GradSimを提案する。
3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。
言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
論文 参考訳(メタデータ) (2023-10-23T18:13:37Z) - The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122
Language Variants [82.6462524808751]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-08-31T17:43:08Z) - Cross-Lingual Knowledge Distillation for Answer Sentence Selection in
Low-Resource Languages [90.41827664700847]
低リソース言語のためのAS2モデルの学習方法として、英語の強力なAS2教師からCLKD(Cross-Lingual Knowledge Distillation)を提案する。
提案手法を評価するために,1)Xtr-WikiQA,(9言語用ウィキQAデータセット,2)TyDi-AS2,8言語にまたがる70万以上の質問を持つ多言語AS2データセットを紹介する。
論文 参考訳(メタデータ) (2023-05-25T17:56:04Z) - Transfer to a Low-Resource Language via Close Relatives: The Case Study
on Faroese [54.00582760714034]
言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。
我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
論文 参考訳(メタデータ) (2023-04-18T08:42:38Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳(メタデータ) (2022-10-26T17:17:06Z) - A Warm Start and a Clean Crawled Corpus -- A Recipe for Good Language
Models [0.0]
アイスランド語のためのいくつかの言語モデルをトレーニングし、IceBERTは様々なダウンストリームタスクで最先端のパフォーマンスを達成する。
我々は,アイスランドの上位レベルドメイン(TLD)をターゲットとして,高品質なテキストの集合体であるアイスランド・コモン・クローリング・コーパス(IC3)を新たに導入する。
ロー・ミディアム・リソース言語に対するNLPアプリケーションにおいて, クロールしたコーパスを適切に洗浄すれば, 最先端の処理結果が得られることを示す。
論文 参考訳(メタデータ) (2022-01-14T18:45:31Z) - Operationalizing a National Digital Library: The Case for a Norwegian
Transformer Model [0.0]
国立図書館でデジタルコレクションとデジタルコレクションから大規模なトレーニングセットを構築するプロセスを紹介します。
ノルウェー語のための変換器(BERT)に基づく双方向表現は、複数のトークンおよびシーケンス分類タスクにおいて多言語BERT(mBERT)モデルより優れている。
論文 参考訳(メタデータ) (2021-04-19T20:36:24Z) - Large-Scale Contextualised Language Modelling for Norwegian [7.5722195869569]
本稿では,elmo と bert の両フレームワークに基づく,ノルウェー初の大規模単言語モデルを提案する。
トレーニングプロセスの詳細に加えて,ノルウェーにおけるNLPタスクのスイートに対して,コントラスト的なベンチマーク結果を示す。
論文 参考訳(メタデータ) (2021-04-13T23:18:04Z) - Learning Contextualised Cross-lingual Word Embeddings and Alignments for
Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。
本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文 参考訳(メタデータ) (2020-10-27T22:24:01Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z) - Transfer learning and subword sampling for asymmetric-resource
one-to-many neural translation [14.116412358534442]
低リソース言語のためのニューラルマシン翻訳を改善する方法について概説する。
人工的に制限された3つの翻訳タスクと1つの現実世界タスクでテストが行われる。
実験は、特にスケジュールされたマルチタスク学習、denoising autoencoder、サブワードサンプリングに肯定的な効果を示す。
論文 参考訳(メタデータ) (2020-04-08T14:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。