Fugu-MT 論文翻訳(概要): The Cost of Training NLP Models: A Concise Overview

論文の概要: The Cost of Training NLP Models: A Concise Overview

arxiv url: http://arxiv.org/abs/2004.08900v1
Date: Sun, 19 Apr 2020 16:28:35 GMT
ステータス: 処理完了
システム内更新日: 2022-12-11 23:48:10.945141
Title: The Cost of Training NLP Models: A Concise Overview
Title（参考訳）: NLPモデルのトレーニングコスト:簡潔な概要
Authors: Or Sharir, Barak Peleg and Yoav Shoham
Abstract要約: 大規模言語モデルを訓練するコストと、これらのコストの要因についてレビューする。対象者には、モデルトレーニングの実験を予算化するエンジニアや科学者、現代の自然言語処理(NLP)の経済性を理解しようとする非専門家が含まれる。
参考スコア（独自算出の注目度）: 8.598232614988806
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We review the cost of training large-scale language models, and the drivers of these costs. The intended audience includes engineers and scientists budgeting their model-training experiments, as well as non-practitioners trying to make sense of the economics of modern-day Natural Language Processing (NLP).
Abstract（参考訳）: 大規模言語モデルを訓練するコストと、これらのコストの要因についてレビューする。対象には、モデルトレーニングの実験を予算化するエンジニアや科学者、現代の自然言語処理(NLP)の経済性を理解しようとする非専門家が含まれる。

関連論文リスト

Can Models Learn Skill Composition from Examples? [50.5142714905768]
サンプルから構成一般化を学習する小型モデルの能力を評価する。 k=2$と3$のスキルの組み合わせによるトレーニングは、テキスト作成能力の顕著な改善をもたらすことを示す。また,本研究では,スキルリッチ(潜在的に合成的な)テキストをトレーニングに取り入れることで,モデルの構成能力を大幅に向上させることが示唆された。
論文参考訳（メタデータ） (2024-09-29T22:14:02Z)
An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文参考訳（メタデータ） (2024-01-12T16:56:54Z)
Training Generative Question-Answering on Synthetic Data Obtained from an Instruct-tuned Model [4.515527639264234]
本稿では,質問応答系を学習するための簡易かつ費用対効果の高いデータ合成手法を提案する。トレーニングでは、微調整のGPTモデルは英語のような資源に富む言語では一般的であるが、十分な問合せペアが不足しているため、英語以外の言語では困難になる。
論文参考訳（メタデータ） (2023-10-12T06:46:07Z)
MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。 SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
論文参考訳（メタデータ） (2023-05-30T13:07:33Z)
Toward Low-Cost End-to-End Spoken Language Understanding [3.265773263570237]
自己監督型モデルは、音声言語理解において顕著な進歩をもたらした。これらの進歩は、計算時間とエネルギー消費の点で無視できないコストを持つ。競争性能を維持しながら、このようなコストを削減しようとするいくつかの学習戦略を比較します。
論文参考訳（メタデータ） (2022-07-01T11:40:53Z)
Vers la compr\'ehension automatique de la parole bout-en-bout \`a moindre effort [3.265773263570237]
音声理解の最近の進歩は、大規模音声コーパスで訓練された自己監督モデルの恩恵を受けている。これらの進歩は、時間とエネルギー消費の点で無視できないコストを持つ。競争性能を維持しながら、このようなコスト削減を目的とした学習戦略をいくつか比較する。
論文参考訳（メタデータ） (2022-07-01T11:29:59Z)
On the Economics of Multilingual Few-shot Learning: Modeling the Cost-Performance Trade-offs of Machine Translated and Manual Data [12.638781962950805]
本稿では,機械翻訳データと手作業で作成したラベル付きデータのパフォーマンスとコストのトレードオフを評価するためのフレームワークを提案する。本稿では,TyDIQA-GoldPデータセットのケーススタディによるフレームワークの有効性について述べる。
論文参考訳（メタデータ） (2022-05-12T20:27:01Z)
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
論文参考訳（メタデータ） (2022-02-17T17:17:43Z)
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文参考訳（メタデータ） (2021-11-01T20:08:05Z)
Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models [61.768082640087]
自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
論文参考訳（メタデータ） (2021-01-18T01:41:31Z)
Costs to Consider in Adopting NLP for Your Business [3.608765813727773]
パフォーマンス向上とモデル間のコストのトレードオフを示し、AIピボットビジネスのさらなる洞察を与えます。特にリソース不足言語について、低コストモデルに関するさらなる研究を求めています。
論文参考訳（メタデータ） (2020-12-16T13:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。