論文の概要: Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP models

• arxiv url: http://arxiv.org/abs/2202.07791v1
• Date: Tue, 15 Feb 2022 23:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 03:05:28.506427
• Title: Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP models
• Title（参考訳）: ロシアのSuperGLUE 1.1: ロシアのNLPモデルで学ばない教訓の改訂
• Authors: Alena Fenogenova, Maria Tikhonova, Vladislav Mikhailov, Tatiana Shavrina, Anton Emelyanov, Denis Shevelev, Alexandr Kukushkin, Valentin Malykh, Ekaterina Artemova
• Abstract要約: 本稿では,ロシアNLPモデルのGLUEを改良したベンチマークである,ロシアのSuperGLUE 1.1を提案する。 新バージョンには、技術的、ユーザエクスペリエンス、方法論的改善が多数含まれている。 我々は,ロシアのSuperGLUEをオープンソースモデルMOROCCOの産業的評価のためのフレームワークに統合する。
• 参考スコア（独自算出の注目度）: 53.95094814056337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last year, new neural architectures and multilingual pre-trained models have been released for Russian, which led to performance evaluation problems across a range of language understanding tasks. This paper presents Russian SuperGLUE 1.1, an updated benchmark styled after GLUE for Russian NLP models. The new version includes a number of technical, user experience and methodological improvements, including fixes of the benchmark vulnerabilities unresolved in the previous version: novel and improved tests for understanding the meaning of a word in context (RUSSE) along with reading comprehension and common sense reasoning (DaNetQA, RuCoS, MuSeRC). Together with the release of the updated datasets, we improve the benchmark toolkit based on \texttt{jiant} framework for consistent training and evaluation of NLP-models of various architectures which now supports the most recent models for Russian. Finally, we provide the integration of Russian SuperGLUE with a framework for industrial evaluation of the open-source models, MOROCCO (MOdel ResOurCe COmparison), in which the models are evaluated according to the weighted average metric over all tasks, the inference speed, and the occupied amount of RAM. Russian SuperGLUE is publicly available at https://russiansuperglue.com/.
• Abstract（参考訳）: 昨年、ロシア語で新しいニューラルアーキテクチャと多言語事前学習モデルがリリースされ、様々な言語理解タスクにおけるパフォーマンス評価の問題につながった。 本稿では,ロシアNLPモデルのGLUEを改良したベンチマークである,ロシアのSuperGLUE 1.1を提案する。 新バージョンには、前バージョンで未解決のベンチマーク脆弱性の修正を含む、多くの技術的、ユーザエクスペリエンス、方法論的改善が含まれている。 単語の意味を理解するための新鮮で改善されたテスト、読み理解と常識推論(danetqa、rucos、muserc)。 更新データセットのリリースとともに、最新のロシア語モデルをサポートするさまざまなアーキテクチャのNLPモデルの一貫したトレーニングと評価のための、‘texttt{jiant} framework’に基づくベンチマークツールキットを改善した。 最後に,オープンソースモデルの産業評価のためのフレームワークであるモロッコ(モデル資源比較)とロシアのスーパーグルーを統合することで,すべてのタスクに対する重み付け平均メトリック,推論速度,ramの占有量に応じてモデルを評価する。 ロシアのSuperGLUEはhttps://russiansuperglue.com/で公開されている。

関連論文リスト

• Overcoming linguistic barriers in code assistants: creating a QLoRA adapter to improve support for Russian-language code writing instructions [0.0]
  アダプタは、ロシア語のプログラミングと理解に関わるタスクにおいて、ベースモデルの性能を向上させるために開発された。 提案したアダプタは,プログラムに関連する質問応答ペアや,ロシア語のコード関連テキストなど,多種多様なデータセットを用いてトレーニングされた。 結果,Pythonのコード記述やロシア語処理のタスクにおいて,提案したアダプタの有効性を確認し,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-09-14T07:49:29Z)
• The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design [39.80182519545138]
  本稿では,ロシア語の埋め込みモデルに関する研究に焦点をあてる。 ru-en-RoSBERTaと呼ばれる新しいロシアの埋め込みモデルとruMTEBベンチマークを導入している。
  論文  参考訳（メタデータ） (2024-08-22T15:53:23Z)
• Vikhr: Constructing a State-of-the-art Bilingual Open-Source Instruction-Following Large Language Model for Russian [44.13635168077528]
  Vikhrは、ロシアの言語に特化して設計された、最先端のバイリンガルなオープンソース命令フォローリング LLM である。 VikhrはMistral LLMシリーズの名称で、「強風」を意味する。
  論文  参考訳（メタデータ） (2024-05-22T18:58:58Z)
• Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
  本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。 本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
  論文  参考訳（メタデータ） (2023-05-31T21:58:07Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• MOROCCO: Model Resource Comparison Framework [61.444083353087294]
  我々は,50以上のNLUタスクをサポートするttjiant環境と互換性のある言語モデルを比較するフレームワークMOROCCOを提案する。 異なる言語で2つのGLUEライクなスイートに適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-04-29T13:01:27Z)
• RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark [5.258267224004844]
  先進的なロシア語理解評価ベンチマークであるロシア語GLUEを紹介する。 9つのタスクのベンチマークは、SuperGLUEの手法と類似して収集され、ロシア語のスクラッチから開発された。
  論文  参考訳（メタデータ） (2020-10-29T20:31:39Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• KLEJ: Comprehensive Benchmark for Polish Language Understanding [4.702729080310267]
  ポーランド語理解のための総合的なマルチタスクベンチマークを導入する。 また、ポーランド語に特化して訓練されたトランスフォーマーベースのモデルであるHerBERTもリリースしました。
  論文  参考訳（メタデータ） (2020-05-01T21:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。