Fugu-MT 論文翻訳(概要): Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation

論文の概要: Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation

arxiv url: http://arxiv.org/abs/2409.02391v2
Date: Sat, 07 Dec 2024 08:56:53 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-10 14:47:48.484612
Title: Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation
Title（参考訳）: 経済生産性のスケーリング法則--LLM助成翻訳における実験的証拠-
Authors: Ali Merali,
Abstract要約: 10倍のモデル計算でタスク完了速度が12.3%向上し、グレードは0.18標準偏差、利益は16.1%向上した。これらの結果は、継続したモデルスケーリングが今後10年間で米国の生産性を少なくとも6.9%向上させることを示唆している。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This paper derives "scaling laws"--empirical relationships between the training compute of Large Language Models (LLMs) and their performance--for economic outcomes. In a preregistered online experiment, 300 professional translators completed 1,800 tasks using one of 13 LLMs (or a control). A tenfold increase in model compute improved task completion speed by 12.3%, grades by 0.18 standard deviations, and earnings per minute by 16.1%. Gains were four times larger for lower-skilled workers. These findings suggest continued model scaling could boost U.S. productivity by at least 6.9% over the next decade.
Abstract（参考訳）: 本稿では,Large Language Models (LLMs) のトレーニング計算と,その性能-経済的な結果-の「スケーリング法則」を導出する。登録済みのオンライン実験では、300人のプロの翻訳者が13のLLM(またはコントロール)のうちの1つを使って1,800のタスクを完了した。 10倍のモデル計算でタスク完了速度が12.3%向上し、グレードは0.18標準偏差、利益は16.1%向上した。低熟練労働者の利得は4倍であった。これらの結果は、継続したモデルスケーリングが今後10年間で米国の生産性を少なくとも6.9%向上させることを示唆している。

関連論文リスト

Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
論文参考訳（メタデータ） (2024-10-17T17:51:40Z)
How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes [2.0109318570325847]
ソフトウェア分野の特定の組織からTMを用いたLlama 3モデルの微調整の影響について検討する。トレーニングセット毎にモデルを微調整し,自動メトリクス,BLEU,chrF++,TER,COMETに基づいて評価する。以上の結果から,全指標にまたがるより大きなデータセットによる翻訳性能の向上が示された。
論文参考訳（メタデータ） (2024-09-05T12:06:38Z)
AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies [36.645912291368546]
AquilaMoEは最先端のバイリンガル8*16BMixture of Experts (MoE)言語モデルで、それぞれ16億のパラメータを持つ8人のエキスパートが参加する。このアプローチは、2段階のプロセスを通じてデータ要求を最小限にしながら、パフォーマンスを最適化する。我々は16Bモデルと8*16B AquilaMoEモデルの訓練に成功した。
論文参考訳（メタデータ） (2024-08-13T02:07:00Z)
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文参考訳（メタデータ） (2024-05-02T14:49:50Z)
Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文参考訳（メタデータ） (2024-03-13T13:54:00Z)
$C^3$: Confidence Calibration Model Cascade for Inference-Efficient Cross-Lingual Natural Language Understanding [28.853593305486832]
言語間自然言語理解(NLU)は自然言語処理(NLP)において重要な課題である近年,多言語事前学習言語モデル (mPLM) の進歩により,これらのタスクの性能が著しく向上している。既存のモデルカスケード法は、様々なモデルから電流入力を処理できる最も軽量なモデルを選択して、推論効率を向上させる。
論文参考訳（メタデータ） (2024-02-25T05:07:56Z)
Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
論文参考訳（メタデータ） (2024-02-13T17:18:56Z)
L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational Language Models [15.726224465017596]
本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
論文参考訳（メタデータ） (2023-11-11T06:59:50Z)
Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。自動回帰モデルと比較して16.35倍の速度向上を示した。
論文参考訳（メタデータ） (2023-06-10T05:24:29Z)
Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2021-09-22T00:57:46Z)
Scaling End-to-End Models for Large-Scale Multilingual ASR [44.89961662796597]
多くの言語ファミリーでASRモデルを構築することは、大きな言語バリエーションと非常にバランスの取れないデータのために、マルチタスク学習の難しい問題です。言語毎のデータ量は7.7Kから54.7K時間まで様々である。
論文参考訳（メタデータ） (2021-04-30T08:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。