論文の概要: Densing Law of LLMs

• arxiv url: http://arxiv.org/abs/2412.04315v2
• Date: Fri, 06 Dec 2024 11:39:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 12:36:38.302189
• Title: Densing Law of LLMs
• Title（参考訳）: LLMのデンシング法則
• Authors: Chaojun Xiao, Jie Cai, Weilin Zhao, Guoyang Zeng, Biyuan Lin, Jie Zhou, Zhi Zheng, Xu Han, Zhiyuan Liu, Maosong Sun,
• Abstract要約: 大規模言語モデル(LLM)は人工知能のマイルストーンとして登場し、モデルのサイズが大きくなるにつれてその性能が向上する。 本稿では,異なるスケールでLLMの品質を評価するための新しい指標として,「テクトキャパシティ密度」の概念を紹介する。
• 参考スコア（独自算出の注目度）: 81.06644243978101
• License:
• Abstract: Large Language Models (LLMs) have emerged as a milestone in artificial intelligence, and their performance can improve as the model size increases. However, this scaling brings great challenges to training and inference efficiency, particularly for deploying LLMs in resource-constrained environments, and the scaling trend is becoming increasingly unsustainable. This paper introduces the concept of ``\textit{capacity density}'' as a new metric to evaluate the quality of the LLMs across different scales and describes the trend of LLMs in terms of both effectiveness and efficiency. To calculate the capacity density of a given target LLM, we first introduce a set of reference models and develop a scaling law to predict the downstream performance of these reference models based on their parameter sizes. We then define the \textit{effective parameter size} of the target LLM as the parameter size required by a reference model to achieve equivalent performance, and formalize the capacity density as the ratio of the effective parameter size to the actual parameter size of the target LLM. Capacity density provides a unified framework for assessing both model effectiveness and efficiency. Our further analysis of recent open-source base LLMs reveals an empirical law (the densing law)that the capacity density of LLMs grows exponentially over time. More specifically, using some widely used benchmarks for evaluation, the capacity density of LLMs doubles approximately every three months. The law provides new perspectives to guide future LLM development, emphasizing the importance of improving capacity density to achieve optimal results with minimal computational overhead.
• Abstract（参考訳）: 大規模言語モデル(LLM)は人工知能のマイルストーンとして登場し、モデルのサイズが大きくなるにつれてその性能が向上する。 しかし、このスケーリングは、特にリソース制約のある環境にLLMをデプロイする際のトレーニングと推論効率に大きな課題をもたらし、スケーリングの傾向はますます持続不可能になりつつある。 本稿では, LLMの質を異なるスケールで評価するための新しい指標として, ``\textit{capacity density}'の概念を紹介し, 有効性と効率の両面からLLMの傾向を説明する。 対象LLMのキャパシティ密度を計算するために,まず参照モデルの集合を導入し,パラメータサイズに基づいて参照モデルのダウンストリーム性能を予測するスケーリング法則を開発する。 そこで,本研究では,目標LLMの<textit{ Effective parameters size}を基準モデルで要求されるパラメータサイズとして定義し,有効パラメータサイズと目標LLMの実際のパラメータサイズとの比としてキャパシティ密度を定式化する。 キャパシティ密度は、モデルの有効性と効率の両方を評価するための統一されたフレームワークを提供する。 近年のオープンソース基盤LLMのさらなる解析により、LLMの容量密度は時間とともに指数関数的に増加するという経験則(デンシング法則)が明らかとなった。 より具体的には、評価に広く使われているベンチマークを用いて、LLMの容量密度は約3ヶ月毎に2倍になる。 この法則は将来のLCM開発を導く新しい視点を提供し、計算オーバーヘッドを最小限に抑えるためにキャパシティ密度を向上させることの重要性を強調している。

関連論文リスト

• A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
  大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。 本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-10-24T14:31:52Z)
• Density estimation with LLMs: a geometric investigation of in-context learning trajectories [3.281128493853064]
  大規模言語モデル(LLM)は、様々なタスクでコンテキスト内学習を行う際、顕著な創発的能力を示す。 本研究は,LLMがコンテキスト内で観測されたデータから確率密度関数を推定する能力について検討する。 我々は、集中主成分分析(Intensive principal Component Analysis, InPCA)を活用し、LLaMA-2モデルのコンテキスト内学習ダイナミクスを可視化および解析する。
  論文  参考訳（メタデータ） (2024-10-07T17:22:56Z)
• Performance Law of Large Language Models [58.32539851241063]
  性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。 性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
  論文  参考訳（メタデータ） (2024-08-19T11:09:12Z)
• A Performance Study of LLM-Generated Code on Leetcode [1.747820331822631]
  本研究では,Large Language Models (LLM) によるコード生成の効率性を評価する。 モデル温度や成功率などの要因とコード性能への影響を考慮し、18個のLLMを比較した。 LLMは、人間によって書かれたコードよりも平均的に、より効率的なコードを生成することができる。
  論文  参考訳（メタデータ） (2024-07-31T13:10:03Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• A Comprehensive Evaluation of Quantization Strategies for Large Language Models [42.03804933928227]
  大規模言語モデル(LLM)におけるパラメータの数を増やすことで、ダウンストリームタスクのパフォーマンスが向上するが、計算とメモリコストが上昇する。 モデルウェイトやアクティベーションに必要なビットを最小性能で削減する量子化技術が普及している。 本稿では,知識とキャパシティ,(2)アライメント,(3)効率の3つの重要な次元からなる構造化評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-26T17:45:36Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。