論文の概要: Nemotron-4 340B Technical Report

• arxiv url: http://arxiv.org/abs/2406.11704v2
• Date: Tue, 6 Aug 2024 22:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 15:15:51.309488
• Title: Nemotron-4 340B Technical Report
• Title（参考訳）: ネモトロン4-340B技術報告
• Authors: Nvidia, :, Bo Adler, Niket Agarwal, Ashwath Aithal, Dong H. Anh, Pallab Bhattacharya, Annika Brundyn, Jared Casper, Bryan Catanzaro, Sharon Clay, Jonathan Cohen, Sirshak Das, Ayush Dattagupta, Olivier Delalleau, Leon Derczynski, Yi Dong, Daniel Egert, Ellie Evans, Aleksander Ficek, Denys Fridman, Shaona Ghosh, Boris Ginsburg, Igor Gitman, Tomasz Grzegorzek, Robert Hero, Jining Huang, Vibhu Jawa, Joseph Jennings, Aastha Jhunjhunwala, John Kamalu, Sadaf Khan, Oleksii Kuchaiev, Patrick LeGresley, Hui Li, Jiwei Liu, Zihan Liu, Eileen Long, Ameya Sunil Mahabaleshwarkar, Somshubra Majumdar, James Maki, Miguel Martinez, Maer Rodrigues de Melo, Ivan Moshkov, Deepak Narayanan, Sean Narenthiran, Jesus Navarro, Phong Nguyen, Osvald Nitski, Vahid Noroozi, Guruprasad Nutheti, Christopher Parisien, Jupinder Parmar, Mostofa Patwary, Krzysztof Pawelec, Wei Ping, Shrimai Prabhumoye, Rajarshi Roy, Trisha Saar, Vasanth Rao Naik Sabavat, Sanjeev Satheesh, Jane Polak Scowcroft, Jason Sewall, Pavel Shamis, Gerald Shen, Mohammad Shoeybi, Dave Sizer, Misha Smelyanskiy, Felipe Soares, Makesh Narsimhan Sreedhar, Dan Su, Sandeep Subramanian, Shengyang Sun, Shubham Toshniwal, Hao Wang, Zhilin Wang, Jiaxuan You, Jiaqi Zeng, Jimmy Zhang, Jing Zhang, Vivienne Zhang, Yian Zhang, Chen Zhu,
• Abstract要約: 我々はNemotron-4-340B-Base、Nemotron-4-340B-Instruct、Nemotron-4-340B-Rewardを含むNemotron-4 340Bモデルファミリーをリリースする。 私たちのモデルはNVIDIA Open Model License Agreementの下でオープンアクセスです。
• 参考スコア（独自算出の注目度）: 89.13904914163881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We release the Nemotron-4 340B model family, including Nemotron-4-340B-Base, Nemotron-4-340B-Instruct, and Nemotron-4-340B-Reward. Our models are open access under the NVIDIA Open Model License Agreement, a permissive model license that allows distribution, modification, and use of the models and its outputs. These models perform competitively to open access models on a wide range of evaluation benchmarks, and were sized to fit on a single DGX H100 with 8 GPUs when deployed in FP8 precision. We believe that the community can benefit from these models in various research studies and commercial applications, especially for generating synthetic data to train smaller language models. Notably, over 98% of data used in our model alignment process is synthetically generated, showcasing the effectiveness of these models in generating synthetic data. To further support open research and facilitate model development, we are also open-sourcing the synthetic data generation pipeline used in our model alignment process.
• Abstract（参考訳）: 我々はNemotron-4-340B-Base、Nemotron-4-340B-Instruct、Nemotron-4-340B-Rewardを含むNemotron-4 340Bモデルファミリーをリリースする。 私たちのモデルは、モデルとその出力の配布、修正、使用を可能にする寛容なモデルライセンスであるNVIDIA Open Model License Agreementの下でオープンアクセスされています。 これらのモデルは、幅広い評価ベンチマークでオープンアクセスモデルと競合して動作し、FP8の精度でデプロイされた場合、単一のDGX H100に8GPUで適合するようにサイズが設定された。 コミュニティは、様々な研究研究や商業的応用において、特により小さな言語モデルを訓練するための合成データの生成において、これらのモデルの恩恵を受けることができると信じている。 特に、我々のモデルアライメントプロセスで使用されるデータの98%以上が合成され、合成データの生成におけるこれらのモデルの有効性が示される。 オープンな研究をさらに支援し、モデル開発を促進するため、我々はモデルアライメントプロセスで使用される合成データ生成パイプラインをオープンソース化しています。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Improving generalisability of 3D binding affinity models in low data regimes [0.0]
  PDBBindデータセットの新たな分割を導入し、列車とテストセット間の類似性リークを最小限にする。 一般に、3次元グローバルモデルが低データ構造におけるタンパク質特異的局所モデルよりも優れていることを実証する。 この研究は、結合親和性モデリングのためのGNNアーキテクチャの可能性を解き放つための、有望な新しいアプローチをもたらすと信じている。
  論文  参考訳（メタデータ） (2024-09-19T13:54:38Z)
• Model Synthesis for Zero-Shot Model Attribution [26.835046772924258]
  生成モデルは、芸術、デザイン、人間とコンピュータの相互作用などの様々な分野を形作っている。 実世界の生成モデルの指紋パターンを模倣した多数の合成モデルを生成するモデル合成手法を提案する。 実験により, この指紋抽出装置は, 合成モデルのみを訓練し, 様々な実世界の生成モデルに対して, 印象的なゼロショットの一般化を実現することができた。
  論文  参考訳（メタデータ） (2023-07-29T13:00:42Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• Consistency Models [89.68380014789861]
  ノイズを直接データにマッピングすることで,高品質なサンプルを生成する新しいモデル群を提案する。 設計によって高速なワンステップ生成をサポートしながら、マルチステップサンプリングによって、サンプル品質の計算を交換することができる。 イメージインペイント、カラー化、超高解像度といったゼロショットデータ編集も、明示的なトレーニングを必要とせずサポートしている。
  論文  参考訳（メタデータ） (2023-03-02T18:30:16Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Score-Based Generative Models for Molecule Generation [0.8808021343665321]
  我々は、ZINCデータセットから150万のサンプルを表現したTransformerベースのスコア関数をトレーニングする。 私たちは、Mosesベンチマークフレームワークを使用して、一連のメトリクスで生成されたサンプルを評価します。
  論文  参考訳（メタデータ） (2022-03-07T13:46:02Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。