論文の概要: Fly-Swat or Cannon? Cost-Effective Language Model Choice via
Meta-Modeling
- arxiv url: http://arxiv.org/abs/2308.06077v3
- Date: Mon, 18 Dec 2023 08:26:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 23:35:46.990855
- Title: Fly-Swat or Cannon? Cost-Effective Language Model Choice via
Meta-Modeling
- Title（参考訳）: フライスワットかキャノンか?
メタモデリングによるコスト効果言語モデル選択
- Authors: Marija \v{S}akota, Maxime Peyrard, Robert West
- Abstract要約: FORC(Fly-swat or cannon)は、コスト効率の良い言語モデル選択のためのフレームワークである。
5つの自然言語タスクをカバーする14のデータセット上でFORCを評価する。
FORCでは,最大利用可能なLMの性能と63%のコスト削減を実現した。
- 参考スコア（独自算出の注目度）: 28.02117209162241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative language models (LMs) have become omnipresent across data science.
For a wide variety of tasks, inputs can be phrased as natural language prompts
for an LM, from whose output the solution can then be extracted. LM performance
has consistently been increasing with model size - but so has the monetary cost
of querying the ever larger models. Importantly, however, not all inputs are
equally hard: some require larger LMs for obtaining a satisfactory solution,
whereas for others smaller LMs suffice. Based on this fact, we design a
framework for cost-effective language model choice, called "Fly-swat or cannon"
(FORC). Given a set of inputs and a set of candidate LMs, FORC judiciously
assigns each input to an LM predicted to do well on the input according to a
so-called meta-model, aiming to achieve high overall performance at low cost.
The cost-performance tradeoff can be flexibly tuned by the user. Options
include, among others, maximizing total expected performance (or the number of
processed inputs) while staying within a given cost budget, or minimizing total
cost while processing all inputs. We evaluate FORC on 14 datasets covering five
natural language tasks, using four candidate LMs of vastly different size and
cost. With FORC, we match the performance of the largest available LM while
achieving a cost reduction of 63%. Via our publicly available library,
researchers as well as practitioners can thus save large amounts of money
without sacrificing performance.
- Abstract（参考訳）: ジェネレーティブ言語モデル(LM)は、データサイエンス全体にわたって一様である。
様々なタスクに対して、入力はLMの自然言語プロンプトとして表現することができ、その出力から解を抽出することができる。
lmのパフォーマンスはモデルサイズによって一貫して向上していますが、さらに大きなモデルに問い合わせる金銭的なコストも伴っています。
しかし、重要なことは全ての入力が等しく難しいわけではない: 満足な解を得るためにより大きなLMを必要とするものもいるが、他のより小さなLMでは十分である。
この事実に基づいて,コスト効率の高い言語モデル選択のためのフレームワークを"fly-swat or cannon" (forc) として設計する。
入力のセットと候補lmのセットが与えられたとき、forcは、いわゆるメタモデルに従って入力でうまく行くと予測されるlmに各入力を公平に割り当て、低コストで高い全体的なパフォーマンスを達成することを目指す。
コストパフォーマンストレードオフは、ユーザが柔軟に調整することができる。
オプションには、所定のコスト予算内に留まり、期待されるパフォーマンス(または処理された入力数)を最大化することや、すべての入力を処理しながら総コストを最小化することが含まれる。
我々は,5つの自然言語タスクをカバーする14のデータセットについて,サイズとコストの異なる4つの候補lmsを用いてforcを評価する。
FORCでは,最大利用可能なLMの性能と63%のコスト削減を実現した。
公開ライブラリーのおかげで、研究者も実践者も、パフォーマンスを犠牲にすることなく大量のお金を節約できる。
関連論文リスト
- MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z) - A Simple and Effective Pruning Approach for Large Language Models [64.14329119421305]
大規模言語モデル(LLM)は、ネットワークプルーニング手法の自然な候補である。
しかし,既存の手法では,2次情報に依存した再訓練や重み復元の問題の解決が求められている。
我々は,事前学習したLLMの空間性を高めるために,Wanda (Pruning by Weights and activations) と呼ばれる新しい,単純で効果的な刈り取り法を導入する。
論文 参考訳（メタデータ） (2023-06-20T17:18:20Z) - Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。
我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。
4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
論文 参考訳（メタデータ） (2023-05-22T22:07:50Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z) - MUX-PLMs: Data Multiplexing for High-throughput Language Models [23.96140002012293]
マルチインプット・マルチアウトプット(MIMO)アルゴリズムはスループットを多倍に向上させる有望なソリューションを提供する。
データ多重化を訓練した高スループット事前学習言語モデルであるMUX-PLMsを開発した。
我々の新しい多重化・非多重化モジュールは、巧妙に絡み合ったり、歪んだりすることで、高性能なスループットのMuxplmを実現する。
論文 参考訳（メタデータ） (2023-02-24T04:03:15Z) - Residual Learning of Neural Text Generation with $n$-gram Language Model [41.26228768053928]
我々は、$n$-gramのLMと実データ分布の間の残差に適合するニューラルネットワークLMを学習する。
当社のアプローチは、一般的なスタンドアロンニューラルネットワークモデルに対して、継続的にパフォーマンスの向上を実現しています。
論文 参考訳（メタデータ） (2022-10-26T02:42:53Z) - Transcending Scaling Laws with 0.1% Extra Compute [128.13903265447675]
言語モデルをスケールすることでパフォーマンスが向上するが、計算コストは大幅に向上する。
本稿では,既存の言語モデルとそのスケーリング曲線を,比較的少量の余剰計算で大幅に改善するUL2Rを提案する。
ほぼ無視可能な余分な計算コストと新しいデータソースがなければ、ダウンストリームメトリクス上の大規模言語モデルのスケーリング特性を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-10-20T16:46:41Z) - Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple
Tasks [77.90900650816046]
ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。
私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。
具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
論文 参考訳（メタデータ） (2022-10-01T04:08:50Z) - Error-driven Pruning of Language Models for Virtual Assistants [7.893832677040097]
仮想アシスタント(VA)のための言語モデル(LM)は、通常、大量のデータで訓練されます。
より緩和された刈り取りしきい値を必要とするn-gramのキープリストを許可することで、エントロピーの刈り取りをカスタマイズする。
また,最大 lm で達成された wer の成果の大部分を保ちつつ,lm の大きさを小さくする判別手法を提案する。
論文 参考訳（メタデータ） (2021-02-14T18:47:01Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳（メタデータ） (2020-09-16T11:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。