論文の概要: Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation

• arxiv url: http://arxiv.org/abs/2409.02391v1
• Date: Wed, 4 Sep 2024 02:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:25:21.944060
• Title: Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation
• Title（参考訳）: 経済生産性のスケーリング法則--LLM助成翻訳における実験的証拠-
• Authors: Ali Merali,
• Abstract要約: 本稿では,大規模言語モデルに使用される学習計算量と,その性能との間にある「スケーリング法則」を導出する。 モデル計算の10倍増にあたり、翻訳者はタスクを12.3%早く完了し、0.18 s.d.の高いグレードを受け取り、1分あたり16.1%増加した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper derives 'scaling laws' -- empirical relationships between the amount of training compute used for a Large Language Model (LLM) and its performance -- for economic outcomes. In a preregistered experiment, 300 professional translators completed 1800 tasks with access to one of thirteen LLMs with differing model training compute sizes (or a control). Our results show that model scaling substantially raises productivity: for every 10x increase in model compute, translators completed tasks 12.3% quicker, received 0.18 s.d. higher grades, and earned 16.1% more per minute (including bonus payments). Further, the gains from model scaling are much higher for lower-skilled workers who gain a 4x larger improvement in task completion speed. These results imply further frontier model scaling -- which is currently estimated at 4x increase per year -- may have significant economic implications.
• Abstract（参考訳）: 本稿では,Large Language Model (LLM) に使用されるトレーニング計算量と,その性能との間にある「スケーリング法則」を,経済的な結果に導出する。 事前登録された実験では、300人のプロの翻訳者が13個のLLMのうちの1つにアクセスして1800のタスクを完了した。 その結果、モデルスケーリングは生産性を著しく向上させ、モデル計算が10倍に向上するたびに、翻訳者はタスクを12.3%早く完了し、より高いグレードの0.18秒を受け取り、1分あたり16.1%増(ボーナス支払いを含む)を得た。 さらに, 作業完了速度が4倍向上した低熟練労働者では, モデルスケーリングによる利得がはるかに高い。 これらの結果は、現在年間4倍の伸びと見積もられているフロンティアモデルのスケーリングが、経済的に重大な影響を及ぼす可能性を示唆している。

関連論文リスト

• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• GEB-1.3B: Open Lightweight Large Language Model [12.083014082506281]
  GEB-1.3Bは、中国語と英語の両方で5500億のトークンで訓練された軽量な大規模言語モデル(LLM)である。 我々は, ROPE, Group-Query-Attention, FlashAttention-2などの新しいトレーニング技術を用いて, モデル性能を維持しながらトレーニングを加速する。 GEB-1.3BはMMLU、C-Eval、CMMLUなどの一般的なベンチマークで優れた性能を示し、MindLLM-1.3BやTinyLLaMA-1.1Bのような比較モデルよりも優れている。 オープンソースモデルとしてのGAB-1.3Bのリリースは、開発に重大な貢献をした
  論文  参考訳（メタデータ） (2024-06-14T10:15:49Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• $C^3$: Confidence Calibration Model Cascade for Inference-Efficient Cross-Lingual Natural Language Understanding [28.853593305486832]
  言語間自然言語理解(NLU)は自然言語処理(NLP)において重要な課題である 近年,多言語事前学習言語モデル (mPLM) の進歩により,これらのタスクの性能が著しく向上している。 既存のモデルカスケード法は、様々なモデルから電流入力を処理できる最も軽量なモデルを選択して、推論効率を向上させる。
  論文  参考訳（メタデータ） (2024-02-25T05:07:56Z)
• Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
  本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。 この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-13T17:18:56Z)
• PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
  大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。 そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。 さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
  論文  参考訳（メタデータ） (2023-12-27T11:49:24Z)
• L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational Language Models [15.726224465017596]
  本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。 我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。 提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
  論文  参考訳（メタデータ） (2023-11-11T06:59:50Z)
• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [57.70351255180495]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.793379799720434]
  本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
  論文  参考訳（メタデータ） (2022-02-13T19:13:00Z)
• Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
  我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。 また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-09-22T00:57:46Z)
• Scaling End-to-End Models for Large-Scale Multilingual ASR [44.89961662796597]
  多くの言語ファミリーでASRモデルを構築することは、大きな言語バリエーションと非常にバランスの取れないデータのために、マルチタスク学習の難しい問題です。 言語毎のデータ量は7.7Kから54.7K時間まで様々である。
  論文  参考訳（メタデータ） (2021-04-30T08:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。