Fugu-MT 論文翻訳(概要): Small Language Models (SLMs) Can Still Pack a Punch: A survey

論文の概要: Small Language Models (SLMs) Can Still Pack a Punch: A survey

arxiv url: http://arxiv.org/abs/2501.05465v1
Date: Fri, 03 Jan 2025 19:53:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-19 08:09:29.375776
Title: Small Language Models (SLMs) Can Still Pack a Punch: A survey
Title（参考訳）: 小さい言語モデル(SLM)はいまだにパンチを詰め込むことができる
Authors: Shreyas Subramanian, Vikram Elango, Mecit Gungor,
Abstract要約: 約160の論文のサーベイでは、10億から80億のパラメータ範囲でSLM(Small Language Models)のファミリーを提示している。我々は,タスクに依存しない汎用SLM,タスク固有のSLM,および,コミュニティがモデルを構築するためのガイドとなるSLMを作成する技術について検討する。
参考スコア（独自算出の注目度）: 2.7309692684728617
License:
Abstract: As foundation AI models continue to increase in size, an important question arises - is massive scale the only path forward? This survey of about 160 papers presents a family of Small Language Models (SLMs) in the 1 to 8 billion parameter range that demonstrate smaller models can perform as well, or even outperform large models. We explore task agnostic, general purpose SLMs, task-specific SLMs and techniques to create SLMs that can guide the community to build models while balancing performance, efficiency, scalability and cost. Furthermore we define and characterize SLMs' effective sizes, representing increased capability with respect to LLMs.
Abstract（参考訳）: 基礎となるAIモデルのサイズが拡大し続けるにつれ、重要な疑問が生まれます。約160の論文を対象としたこの調査では,10億から80億のパラメータ範囲における小言語モデル(SLM)のファミリーが紹介されている。我々は、パフォーマンス、効率、スケーラビリティ、コストのバランスを保ちながら、コミュニティがモデルを構築するのをガイドできるタスク非依存、汎用SLM、タスク固有のSLMおよび技術について検討する。さらに,SLMの有効サイズを定義し,LLMの能力向上を示す。

関連論文リスト

LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
論文参考訳（メタデータ） (2024-07-28T06:10:47Z)
MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
論文参考訳（メタデータ） (2024-04-09T15:36:50Z)
Towards Pareto Optimal Throughput in Small Language Model Serving [4.497936996651617]
SLM(Small Language Models)は、リソース制約のあるユーザに対して、新たな機会を提供する。本研究では,SLM推論を性能およびエネルギーレベルで評価するための一連の実験について述べる。
論文参考訳（メタデータ） (2024-04-04T10:45:07Z)
Why Lift so Heavy? Slimming Large Language Models by Cutting Off the Layers [2.1165011830664673]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対処する際、優れた能力を持っている。これらのモデルの厳密なサイズは、ストレージ、トレーニング、推論において、層積み重ねによる数十億のパラメータを含むため、課題を生じさせる。レイヤが少なくても、LLMは、特にテキスト分類タスクのプロンプトベースの微調整において、類似またはより良いパフォーマンスレベルを維持していることを示す。
論文参考訳（メタデータ） (2024-02-18T20:47:10Z)
LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文参考訳（メタデータ） (2024-01-04T18:53:01Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
論文参考訳（メタデータ） (2023-10-10T15:13:30Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。