論文の概要: Data Engineering for Scaling Language Models to 128K Context

• arxiv url: http://arxiv.org/abs/2402.10171v1
• Date: Thu, 15 Feb 2024 18:19:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 14:23:51.057883
• Title: Data Engineering for Scaling Language Models to 128K Context
• Title（参考訳）: 言語モデルを128kコンテキストにスケールアップするためのデータエンジニアリング
• Authors: Yao Fu, Rameswar Panda, Xinyao Niu, Xiang Yue, Hannaneh Hajishirzi, Yoon Kim and Hao Peng
• Abstract要約: 本研究では,言語モデルの文脈長を128Kまで拡張するための継続事前学習法について検討する。 既存の作業の一般的な実践である書籍のような特定のドメインで、より長いデータを鼻でサンプリングすることで、パフォーマンスが最適以下であることが分かりました。 我々のレシピは強力なオープンソース長文モデルより優れており、GPT-4 128Kのようなフロンティアモデルとのギャップを埋めている。
• 参考スコア（独自算出の注目度）: 98.41554785106902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the continual pretraining recipe for scaling language models' context lengths to 128K, with a focus on data engineering. We hypothesize that long context modeling, in particular \textit{the ability to utilize information at arbitrary input locations}, is a capability that is mostly already acquired through large-scale pretraining, and that this capability can be readily extended to contexts substantially longer than seen during training~(e.g., 4K to 128K) through lightweight continual pretraining on appropriate data mixture. We investigate the \textit{quantity} and \textit{quality} of the data for continual pretraining: (1) for quantity, we show that 500 million to 5 billion tokens are enough to enable the model to retrieve information anywhere within the 128K context; (2) for quality, our results equally emphasize \textit{domain balance} and \textit{length upsampling}. Concretely, we find that naively upsampling longer data on certain domains like books, a common practice of existing work, gives suboptimal performance, and that a balanced domain mixture is important. We demonstrate that continual pretraining of the full model on 1B-5B tokens of such data is an effective and affordable strategy for scaling the context length of language models to 128K. Our recipe outperforms strong open-source long-context models and closes the gap to frontier models like GPT-4 128K.
• Abstract（参考訳）: 言語モデルのコンテキスト長を128kまでスケールアップするための継続的事前学習レシピを,データエンジニアリングを中心に検討した。 長いコンテキストモデリング、特に \textit{the ability to use information at any input locations} は、主に大規模事前トレーニングによって既に獲得されている機能であり、この能力は、適切なデータ混合上での軽量な連続的事前トレーニングを通じて、トレーニング中(例えば、4kから128k)において、かなり長いコンテキストに拡張できると仮定する。 本研究では, 連続事前学習のためのデータの「textit{quantity}」と「textit{quality}」について検討する。(1) 量について, 5億～50億個のトークンが, 128Kコンテキスト内であればどこでも情報を検索できることを示す;(2) 品質についても同様に「textit{domain balance}」と「textit{length upsampling}」が強調される。 具体的には、本のような特定のドメインのより長いデータ、つまり既存の作業の一般的な実践は、最適以下のパフォーマンスをもたらし、バランスの取れたドメインの混合が重要であることに気付きます。 このようなデータの1B-5Bトークン上でのフルモデルの連続事前学習は、言語モデルの文脈長を128Kに拡張するための効果的で安価な戦略であることを示す。 我々のレシピは強力なオープンソース長文モデルより優れており、GPT-4 128Kのようなフロンティアモデルとのギャップを埋めている。

関連論文リスト

• Scaling Pre-training to One Hundred Billion Data for Vision Language Models [23.437750698345067]
  これまでにない規模の視覚言語モデルの事前学習の可能性について検討する。 モデルの性能は、多くの西洋中心の分類と検索のベンチマークにおいて、この規模で飽和する傾向にある。 文化的多様性の課題は、長い尾のコンセプトをカバーしているため、100億のスケールのWebデータから大幅に向上した。
  論文  参考訳（メタデータ） (2025-02-11T15:05:33Z)
• Predicting Large Language Model Capabilities on Closed-Book QA Tasks Using Only Information Available Prior to Training [51.60874286674908]
  我々は,事前学習データと知識保持に密接に結びついているCBQAタスクの性能予測に焦点をあてる。 1)事前学習プロセス全体,特にデータ構築を習得すること,2)モデルの知識保持を評価すること,3)トレーニング前に利用可能な情報のみを使用してタスク固有の知識保持を予測すること,の3つの課題に対処する。 本稿では,事前学習データ,モデルサイズ,タスク固有の知識保持との関係を定量化する情報理論尺度であるSMIメトリクスを紹介する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• The interplay between domain specialization and model size: a case study in the legal domain [8.653321928148547]
  計算制約シナリオ下での連続事前学習におけるドメインサイズとモデルサイズ間の相互作用について検討する。 私たちのゴールは、このシナリオの計算効率のよいトレーニング体制を特定することです。 モデルのサイズが大きくなると、特殊モデルと一般モデルの間の計算効率のギャップが広がる。
  論文  参考訳（メタデータ） (2025-01-03T19:28:53Z)
• Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models [21.90388980448712]
  長いコンテキストを扱うためのトレーニングモデルには、大きな課題があります。 継続事前学習フェーズで使用される新しいデータ拡張戦略であるUntie the Knots(textbfUtK)を紹介する。 我々は、UtKがRULER上で128Kの文脈長で75%と84.5%の精度を達成したことを示す200億のトークンで訓練された7Bと72Bのパラメータを持つモデルに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-07T09:28:55Z)
• Training-Free Long-Context Scaling of Large Language Models [114.53296002607993]
  我々は、Llama2 70Bが連続的なトレーニングなしで100k以上のトークンのコンテキストウィンドウをサポート可能なDual Chunk Attentionを提案する。 長いシーケンスの注意をチャンクベースのモジュールに分解することで、DCAはトークンの相対的な位置情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-27T12:39:23Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Efficient Speech Translation with Pre-trained Models [13.107314023500349]
  本研究では,事前学習モデルに基づいて,ケースドとエンド・ツー・エンドの音声翻訳システムを構築するための効率的な手法を検討する。 エンド・ツー・エンドのモデルはカスケードモデルよりも優れた翻訳性能を示すが、この技術の適用はエンド・ツー・エンドのトレーニングデータの追加の必要性に制限がある。
  論文  参考訳（メタデータ） (2022-11-09T15:07:06Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。