論文の概要: Slamming: Training a Speech Language Model on One GPU in a Day

• arxiv url: http://arxiv.org/abs/2502.15814v1
• Date: Wed, 19 Feb 2025 17:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.796313
• Title: Slamming: Training a Speech Language Model on One GPU in a Day
• Title（参考訳）: Slamming: 1日で1つのGPU上で音声言語モデルをトレーニングする
• Authors: Gallil Maimon, Avishai Elmakies, Yossi Adi,
• Abstract要約: Slamは,1つの学術GPU上で,高品質な言語モデル(SLM)を24時間でトレーニングするためのレシピだ。 我々は、このトレーニングレシピが、計算コストのごく一部で主要なSLMと同等の計算結果を得られるようにも、うまくスケールできることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 20.802090523583196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .
• Abstract（参考訳）: Slamは,1つの学術GPU上で,高品質な音声言語モデル(SLM)を24時間でトレーニングするためのレシピである。 私たちは、モデルの初期化とアーキテクチャの実証分析、合成トレーニングデータ、合成データによる好みの最適化、および他のすべてのコンポーネントを微調整することで実現します。 我々は、このトレーニングレシピが、計算コストのごく一部で主要なSLMと同等の計算結果を得られるようにも、うまくスケールできることを実証的に実証した。 これらの洞察によって、SLMのトレーニングと研究がよりアクセスしやすくなることを願っています。 SLMスケーリング法則の文脈では、我々の結果は予測された最適性能よりも優れており、SLMの実現可能性に楽観的な見方を与えている。 コード、データ、モデル、サンプルは -https://pages.cs.huji.ac.il/adiyoss-lab/slamming を参照してください。

関連論文リスト

• Scaling Analysis of Interleaved Speech-Text Language Models [22.61336359340435]
  音声言語モデル(SLM)のスケーリング分析は、SLMがテキストよりもはるかに多くの計算とデータを必要とすることを予測している。 現代のSLMは、知識伝達を可能にするために、音声テキストインターリーブを用いて事前訓練されたTextLMから初期化されることが多い。 我々は,数ダースをトレーニングし,スケーリングの傾向を分析することで,インターリーブSLMのスケーリング分析を行う。 この設定下において、SLMは計算によってより効率的にスケールできる。
  論文  参考訳（メタデータ） (2025-04-03T08:46:56Z)
• Escaping Collapse: The Strength of Weak Data for Large Language Model Training [15.77316232527746]
  LLMの性能を継続的に向上させるために、どの程度のキュレーションが必要なのかを理論的に検討する枠組みを開発する。 非合成トレーニングデータのほとんどすべてが品質が悪い場合でも、最適なLCMに収束する訓練手順を述べる。
  論文  参考訳（メタデータ） (2025-02-13T03:20:37Z)
• Scaling Laws for Upcycling Mixture-of-Experts Language Models [17.796361238003403]
  大規模言語モデル(LLM)の事前トレーニングはリソース集約的であり、ハイエンドのGPUクラスタでも数ヶ月のトレーニング時間を必要とすることが多い。 そのような計算要求を緩和する2つのアプローチがある: より小さなモデルを再利用して、より大きなモデルをトレーニングする(アップサイクル)、そして、Mix-of-experts (MoE)のような計算効率の良いモデルを訓練する。
  論文  参考訳（メタデータ） (2025-02-05T09:11:13Z)
• Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation [98.92677830223786]
  この研究は、合成データによるスケーリングを再考し、データ中心の観点からビデオLLMの開発に焦点を当てる。 本研究では,純粋なテキスト命令データからビデオライクなサンプルを合成するSparrowというデータ拡張手法を提案する。 提案手法は,多くのサンプルを用いてトレーニングしたベースラインに匹敵する,あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-11-29T18:59:54Z)
• OmniBal: Towards Fast Instruct-tuning for Vision-Language Models via Omniverse Computation Balance [65.48009829137824]
  視覚言語インストラクションチューニングモデルにおける大規模3D並列トレーニングは、異なるデバイス間で不均衡な計算負荷をもたらす。 私たちはこの問題に対処するために、データ、モデル、メモリの観点から計算負荷を再バランスさせました。 提案手法の有効性と一般化性は,様々なモデルやデータセットでさらに実証された。
  論文  参考訳（メタデータ） (2024-07-30T12:02:58Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Aligning Large Language Models through Synthetic Feedback [43.84431341195111]
  本研究では,ヒトのアノテーションに依存しない合成フィードバックを用いたアライメント学習フレームワークを提案する。 人間の評価では,我々のモデルはアルパカとドリー-v2にそれぞれ55.0%,58.5%が好まれる。
  論文  参考訳（メタデータ） (2023-05-23T06:41:16Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
  言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。 我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。 この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
  論文  参考訳（メタデータ） (2022-12-28T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。