論文の概要: Arctic-SnowCoder: Demystifying High-Quality Data in Code Pretraining

• arxiv url: http://arxiv.org/abs/2409.02326v1
• Date: Tue, 3 Sep 2024 22:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:51:59.812708
• Title: Arctic-SnowCoder: Demystifying High-Quality Data in Code Pretraining
• Title（参考訳）: Arctic-SnowCoder: コード事前トレーニングにおける高品質データのデマイズ
• Authors: Yuxiang Wei, Hojae Han, Rajhans Samdani,
• Abstract要約: Arctic-SnowCoder-1.3Bは、555Bトークンで事前訓練されたデータ効率のベースコードモデルである。 限られたデータセットでトレーニングされているにもかかわらず、Arctic-SnowCoderはBigCodeBenchで最先端のパフォーマンスを達成する。 全ての評価されたベンチマークで、アークティック・スノウコーダー-1.3Bは1Tトークンで事前訓練されたスターコーダーBase-3Bを上回った。
• 参考スコア（独自算出の注目度）: 3.8608102686867762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have been increasingly demonstrating that high-quality data is crucial for effective pretraining of language models. However, the precise definition of "high-quality" remains underexplored. Focusing on the code domain, we introduce Arctic-SnowCoder-1.3B, a data-efficient base code model pretrained on 555B tokens through three phases of progressively refined data: (1) general pretraining with 500B standard-quality code tokens, preprocessed through basic filtering, deduplication, and decontamination, (2) continued pretraining with 50B high-quality tokens, selected from phase one by a BERT-style quality annotator trained to distinguish good code from random data, using positive examples drawn from high-quality code files, along with instruction data from Magicoder and StarCoder2-Instruct, and (3) enhanced pretraining with 5B synthetic data created by Llama-3.1-70B using phase two data as seeds, adapting the Magicoder approach for pretraining. Despite being trained on a limited dataset, Arctic-SnowCoder achieves state-of-the-art performance on BigCodeBench, a coding benchmark focusing on practical and challenging programming tasks, compared to similarly sized models trained on no more than 1T tokens, outperforming Phi-1.5-1.3B by 36%. Across all evaluated benchmarks, Arctic-SnowCoder-1.3B beats StarCoderBase-3B pretrained on 1T tokens. Additionally, it matches the performance of leading small base code models trained on trillions of tokens. For example, Arctic-SnowCoder-1.3B surpasses StarCoder2-3B, pretrained on over 3.3T tokens, on HumanEval+, a benchmark that evaluates function-level code generation, and remains competitive on BigCodeBench. Our evaluation presents a comprehensive analysis justifying various design choices for Arctic-SnowCoder. Most importantly, we find that the key to high-quality data is its alignment with the distribution of downstream applications.
• Abstract（参考訳）: 近年の研究では、高品質なデータが言語モデルの効果的な事前訓練に欠かせないことが証明されている。 しかし、「高品質」の正確な定義はいまだ未定である。 1)500B標準品質のコードトークンを前処理し、基本的なフィルタリング、デデュース、デコンタミネーションを施し、(2)50B高品質のトークンを継続事前トレーニングする。(2) BERTスタイルの品質アノテータでフェーズ1から選択され、高品質のコードファイルからの正の例を使用し、MagicoderとStarCoder2-Instructの命令データと、(3) Llam-31-70Bが生成した5B合成データを使って、2つのデータに適応する。 限られたデータセットでトレーニングされているにもかかわらず、Arctic-SnowCoderは、実用的で挑戦的なプログラミングタスクに焦点を当てたコーディングベンチマークであるBigCodeBenchの最先端のパフォーマンスを達成している。 全ての評価されたベンチマークで、アークティック・スノウコーダー-1.3Bは1Tトークンで事前訓練されたスターコーダーBase-3Bを上回った。 さらに、数兆単位のトークンでトレーニングされた、主要な小さなベースコードモデルのパフォーマンスとも一致します。 例えば、Arctic-SnowCoder-1.3Bは、関数レベルのコード生成を評価し、BigCodeBenchと競合するベンチマークであるHumanEval+上で、3.3Tトークンで事前訓練されたStarCoder2-3Bを上回っている。 本評価では,アークティックスノウコーダの様々な設計選択を正当化する包括的解析を行う。 最も重要な点として、高品質なデータの鍵は、下流アプリケーションの分散と一致していることが分かります。

関連論文リスト

• UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。 私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。 我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-17T05:37:02Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• ACECODER: Acing Coder RL via Automated Test-Case Synthesis [36.740393665032954]
  既存のコードデータから広範な(問い合わせ、テストケース)ペアを生成するパイプラインを設計します。 我々は,Bradley-Terry損失を伴う報酬モデルをトレーニングするために,サンプルプログラムのパスレートに基づいて選好ペアを構築した。 RLトレーニングは,80段階の最適化ステップにおいて,HumanEval+を25%以上,MBPP+を6%以上改善できることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:46:04Z)
• Let Me DeCode You: Decoder Conditioning with Tabular Data [0.15487122608774898]
  本稿では,ラベルから派生した特徴をモデル条件付けに利用し,デコーダを動的にリコンストラクションするDeCodeを提案する。 DeCodeは3次元ラベル形状特徴の学習数値表現による条件付埋め込みの導入による3次元セグメンテーション性能の向上に重点を置いている。 以上の結果から,DeCode は従来の非条件モデルよりも高い性能を示し,計算コストの低減による精度の向上を実現している。
  論文  参考訳（メタデータ） (2024-07-12T17:14:33Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• How to get better embeddings with code pre-trained models? An empirical study [6.220333404184779]
  下流分類タスクの埋め込みを生成するために,5つの異なるコード事前訓練モデル(PTM)について検討する。 特別なトークンによって得られた埋め込みは、コードスニペット全体の意味情報を十分に集約していないことが分かりました。 PTMの事前学習と同様、コードデータとテキストデータをマージして得られるコード埋め込みの品質は低く、よりリッチなセマンティック情報を保証できない。
  論文  参考訳（メタデータ） (2023-11-14T10:44:21Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。