論文の概要: H2O-Danube-1.8B Technical Report

• arxiv url: http://arxiv.org/abs/2401.16818v2
• Date: Mon, 15 Apr 2024 17:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 23:15:44.752764
• Title: H2O-Danube-1.8B Technical Report
• Title（参考訳）: H2O-Danube-1.8B技術報告
• Authors: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati,
• Abstract要約: 本稿では,H2O-Danubeについて述べる。 H2O-Danube2-1.8B は2Bパラメータ範囲以下の全てのモデルで Open LLM Leaderboard でトップランクを獲得している。
• 参考スコア（独自算出の注目度）: 2.6856284636402106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present H2O-Danube, a series of small 1.8B language models consisting of H2O-Danube-1.8B, trained on 1T tokens, and the incremental improved H2O-Danube2-1.8B trained on an additional 2T tokens. Our models exhibit highly competitive metrics across a multitude of benchmarks and, as of the time of this writing, H2O-Danube2-1.8B achieves the top ranking on Open LLM Leaderboard for all models below the 2B parameter range. The models follow core principles of LLama 2 and Mistral, and we leverage and refine various techniques for pre-training large language models. We additionally release chat models trained with supervised fine-tuning followed by direct preference optimization. We make all models openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.
• Abstract（参考訳）: 本稿では,H2O-Danube-1.8Bを1Tトークンで訓練したH2O-Danubeと,さらに2Tトークンで訓練したH2O-Danube2-1.8Bについて述べる。 本論文の執筆時点では,H2O-Danube2-1.8Bは2Bパラメータ範囲以下の全モデルにおいて,Open LLM Leaderboardで上位にランクインしている。 モデルはLLama 2とMistralの中核的な原則に従い、我々は大規模言語モデルの事前学習に様々な技術を活用し、洗練する。 さらに、教師付き微調整で訓練されたチャットモデルもリリースし、直接選好最適化を行った。 私たちは、すべてのモデルをApache 2.0ライセンスの下で公開して、LLMをさらに経済的に幅広い聴衆に民主化させています。

関連論文リスト

• H2O-Danube3 Technical Report [2.8203012383355808]
  6Tトークンで訓練されたH2O-Danube3-4Bと、4Tトークンで訓練されたH2O-Danube3-500Mからなる一連の小言語モデルであるH2O-Danube3を提案する。 我々のモデルは、チャットバージョンの最終教師ありチューニングの前に、主に英語のトークンを3段階に分けた高品質なWebデータに基づいて事前訓練されている。
  論文  参考訳（メタデータ） (2024-07-12T14:09:40Z)
• GEB-1.3B: Open Lightweight Large Language Model [12.083014082506281]
  GEB-1.3Bは、中国語と英語の両方で5500億のトークンで訓練された軽量な大規模言語モデル(LLM)である。 我々は, ROPE, Group-Query-Attention, FlashAttention-2などの新しいトレーニング技術を用いて, モデル性能を維持しながらトレーニングを加速する。 GEB-1.3BはMMLU、C-Eval、CMMLUなどの一般的なベンチマークで優れた性能を示し、MindLLM-1.3BやTinyLLaMA-1.1Bのような比較モデルよりも優れている。 オープンソースモデルとしてのGAB-1.3Bのリリースは、開発に重大な貢献をした
  論文  参考訳（メタデータ） (2024-06-14T10:15:49Z)
• Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
  モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。 我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• Gemma: Open Models Based on Gemini Research and Technology [128.57714343844074]
  Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。 Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-13T06:59:16Z)
• Self-Rewarding Language Models [105.6830788170348]
  言語モデル自体がLLM-as-a-Judgeを介して使用される自己回帰言語モデルについて検討し、学習中に独自の報酬を提供する。 反復型DPOトレーニングでは,指導の追従能力が向上するだけでなく,高品質な報酬をそれ自体に提供する能力も向上することを示す。
  論文  参考訳（メタデータ） (2024-01-18T14:43:47Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)
• Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese [33.83704598544326]
  Mengziは、差別的、生成的、ドメイン固有、およびマルチモーダル事前訓練されたモデルの亜種である。 中国の公共のPLMと比較すると、メンジは単純だがより強力である。 我々の軽量モデルは、広く使われているCLUEベンチマークにおいて、最先端の新たな結果を得た。
  論文  参考訳（メタデータ） (2021-10-13T13:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。