Fugu-MT 論文翻訳(概要): MOROCCO: Model Resource Comparison Framework

論文の概要: MOROCCO: Model Resource Comparison Framework

arxiv url: http://arxiv.org/abs/2104.14314v1
Date: Thu, 29 Apr 2021 13:01:27 GMT
ステータス: 処理完了
システム内更新日: 2021-04-30 19:30:39.808373
Title: MOROCCO: Model Resource Comparison Framework
Title（参考訳）: MOROCCO:モデルリソース比較フレームワーク
Authors: Valentin Malykh, Alexander Kukushkin, Ekaterina Artemova, Vladislav Mikhailov, Maria Tikhonova, Tatiana Shavrina
Abstract要約: 我々は,50以上のNLUタスクをサポートするttjiant環境と互換性のある言語モデルを比較するフレームワークMOROCCOを提案する。異なる言語で2つのGLUEライクなスイートに適用可能であることを示す。
参考スコア（独自算出の注目度）: 61.444083353087294
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The new generation of pre-trained NLP models push the SOTA to the new limits, but at the cost of computational resources, to the point that their use in real production environments is often prohibitively expensive. We tackle this problem by evaluating not only the standard quality metrics on downstream tasks but also the memory footprint and inference time. We present MOROCCO, a framework to compare language models compatible with \texttt{jiant} environment which supports over 50 NLU tasks, including SuperGLUE benchmark and multiple probing suites. We demonstrate its applicability for two GLUE-like suites in different languages.
Abstract（参考訳）: 次世代の訓練済みNLPモデルはSOTAを新たな限界に押し上げるが、計算資源のコストは実際の生産環境での使用が禁止されることが多い。ダウンストリームタスクにおける標準品質指標だけでなく,メモリフットプリントや推論時間を評価することで,この問題に対処する。提案するMOROCCOは,SuperGLUEベンチマークや複数の探索スイートを含む50以上のNLUタスクをサポートする,texttt{jiant}環境と互換性のある言語モデルを比較するフレームワークである。異なる言語で2つのGLUEライクなスイートに適用可能であることを示す。

関連論文リスト

ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文参考訳（メタデータ） (2024-06-12T21:01:26Z)
Low-Cost Language Models: Survey and Performance Evaluation on Python Code Generation [0.0]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクで一般的な選択肢となっている。 LLMの相当な計算とメモリ要件は、限られたリソースを持つユーザーにはアクセスできないことが多い。本稿では,資源集約型LLMの代替となる,非常に低コストなモデルに焦点をあてる。
論文参考訳（メタデータ） (2024-04-17T08:16:48Z)
MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
論文参考訳（メタデータ） (2024-01-09T21:09:07Z)
YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文参考訳（メタデータ） (2023-12-22T17:34:47Z)
Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
論文参考訳（メタデータ） (2023-11-14T21:04:03Z)
Generate to Understand for Representation [3.5325087487696463]
GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。 GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
論文参考訳（メタデータ） (2023-06-14T06:00:18Z)
Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
論文参考訳（メタデータ） (2023-05-30T06:40:08Z)
This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish [5.8090623549313944]
ポーランドNLPの新しい総合ベンチマークであるLEPISZCZEを紹介する。ポーランドのベンチマークから5つのデータセットを使用し、8つの新しいデータセットを追加しています。我々はポーランド語のためのベンチマークを作成しながら学んだ洞察と経験を提供し、他の低リソース言語のための同様のベンチマークを設計する青写真を提供する。
論文参考訳（メタデータ） (2022-11-23T16:51:09Z)
GreenPLM: Cross-Lingual Transfer of Monolingual Pre-Trained Language Models at Almost No Cost [7.510253441699812]
本研究では,両言語レキシコンを用いて事前学習した言語モデルを直接他の言語に翻訳するGreenPLMというフレームワークを提案する。このアプローチを18言語のBERTモデルで検証し、このフレームワークが、トレーニングコストの高い他のフレームワークに匹敵するものであることを示す。 7つのテスト言語のうち6つで、このフレームワークは、トレーニング前の最大200倍の労力で、元のモノリンガル言語モデルより優れています。
論文参考訳（メタデータ） (2022-11-13T18:59:15Z)
Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。これらのデータセットは10以上のプログラミング言語をカバーする。コード生成モデルの性能を多言語で評価することができる。
論文参考訳（メタデータ） (2022-10-26T17:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。