論文の概要: An Empirical Study on Influence-Based Pretraining Data Selection for Code Large Language Models

• arxiv url: http://arxiv.org/abs/2604.07769v1
• Date: Thu, 09 Apr 2026 03:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.679608
• Title: An Empirical Study on Influence-Based Pretraining Data Selection for Code Large Language Models
• Title（参考訳）: コード大言語モデルに対する影響に基づく事前学習データ選択に関する実証的研究
• Abstract要約: 本稿では,プログラム関連データセットのコンテキストにおけるデータ影響スコアフィルタリングの有効性について検討する。 私たちは、1000億のコードトークンのデータセットで、スクラッチから10億のパラメータを持つCode-LLMを事前トレーニングします。 この結果から,検証-集合-ロスに基づくデータ影響スコアフィルタリングにより,モデルプログラミング性能が向上する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 30.70386124413396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in code large language models (Code-LLMs) have demonstrated remarkable capabilities in resolving programming related tasks. Meanwhile, researchers have recognized that the quality of pre-training data is crucial for improving LLM performance. However, most of the existing research on pre-training data filtering has focused on general datasets, and little attention for programming datasets. In this paper, we aim to address this gap by exploring the effectiveness of a widely used general data filtering technique, i.e., data-influence-score filtering, within the context of programming-related datasets. To this end, we first introduce a method for calculating data-influence-score for generative programming tasks which involves transforming a variety of downstream coding tasks into validation sets and using the models loss on these sets as a performance metric. Next, we pre-train a Code-LLMs with 1 billion parameters from scratch on a dataset of 100 billion code tokens. Based on it, we conduct an extensive empirical study to evaluate the effectiveness of data-influence-score filtering methods. Specifically, we examine how well this technique improves model performance, investigate how the characteristics of beneficial training data vary across different training stages and programming tasks, and assess the feasibility of prediction-based data-influence-score filtering method. Our findings show that data-influence-score filtering based on validation-set-loss can enhance models programming performance. Moreover, we observe that the criteria of beneficial training data differ significantly across various downstream programming tasks.
• Abstract（参考訳）: コード大言語モデル(Code-LLM)の最近の進歩は、プログラミング関連のタスクを解く際、顕著な能力を示している。 一方、LLMの性能向上には事前学習データの品質が不可欠であると研究者は認識している。 しかしながら、事前トレーニングデータフィルタリングに関する既存の研究のほとんどは、一般的なデータセットに焦点を当てており、プログラミングデータセットにはほとんど注意を払っていない。 本稿では、プログラミング関連データセットのコンテキスト内で広く使われている汎用データフィルタリング手法、すなわち、データ影響スコアフィルタリングの有効性を探求することにより、このギャップに対処することを目的とする。 そこで本研究では,様々な下流コーディングタスクをバリデーションセットに変換し,それらのモデル損失を性能指標として利用する,生成プログラミングタスクのデータ影響スコアを計算する手法を提案する。 次に、1000億のコードトークンのデータセット上で、スクラッチから10億のパラメータを持つCode-LLMを事前トレーニングします。 そこで本研究では,データ・インフルエンス・スコア・フィルタリング手法の有効性を実験的に評価する。 具体的には,本手法がモデル性能をいかに向上させるかを検討するとともに,有益トレーニングデータの特徴が学習段階やプログラミングタスクによってどのように異なるかを検討するとともに,予測に基づくデータ影響スコアフィルタリング手法の有効性を評価する。 この結果から,検証-集合-ロスに基づくデータ影響スコアフィルタリングにより,モデルプログラミング性能が向上する可能性が示唆された。 さらに、様々な下流プログラミングタスクにおいて、有益トレーニングデータの基準が著しく異なることが観察された。

関連論文リスト

• Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution [3.1857077981565793]
  データ属性法は、トレーニングデータセットのサンプルがどのようにモデルをプレコンディションして特定の出力を生成するかを推定する。 Influcoder という手法を,インフルエンサーに基づく大規模データ属性の迅速かつ費用対効果の高い手法として提案する。
  論文  参考訳（メタデータ） (2026-06-11T17:58:33Z)
• Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
  本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2026-05-10T17:30:16Z)
• Data Efficacy for Language Model Training [29.901090317084005]
  データは言語モデル(LM)の訓練の基礎となる。 近年の研究では、トレーニングデータの最小または最適サブセットを選択することで、パフォーマンスを最大化することを目的としている。 本研究は、LMトレーニングにおけるデータの有効性を検討するための一般的なパラダイムであるDELTを紹介する。
  論文  参考訳（メタデータ） (2025-06-26T17:59:07Z)
• DataMIL: Selecting Data for Robot Imitation Learning with Datamodels [77.48472034791213]
  データモデルパラダイムに基づいて構築されたポリシー駆動型データ選択フレームワークであるDataMILを紹介する。 品質の概念を使ってデータをフィルタリングする標準的なプラクティスとは異なり、DataMILはタスクの成功のためにデータ選択を直接最適化する。 我々は60以上のシミュレーションと実世界の操作タスクのスイートに対して,我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2025-05-14T17:55:10Z)
• OpenCodeReasoning: Advancing Data Distillation for Competitive Coding [61.15402517835137]
  教師付き微調整(SFT)データセットを構築し、様々なサイズのモデルで最先端のコーディング能力を実現する。 私たちのモデルは、LiveCodeBenchで61.8%、CodeContestsで24.6%を達成するためにSFTのみを使用しており、強化学習でトレーニングされた代替品を上回っています。
  論文  参考訳（メタデータ） (2025-04-02T17:50:31Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [26.069986067128912]
  本稿では、タスク固有の命令チューニングのためのデータ選択を最適化するReward-Oriented InStruction Data sElection法であるROSEを紹介する。 ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
  論文  参考訳（メタデータ） (2024-12-01T01:01:09Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Data-Centric Machine Learning in the Legal Domain [0.2624902795082451]
  本稿では,データセットの変化がモデルの性能に与える影響について考察する。 法律ドメインから公開されている3つのデータセットを用いて,そのサイズ,列車/テストの分割,および人間のラベル付け精度がパフォーマンスに与える影響について検討する。 観察された効果は、特にクラスごとのパフォーマンスを考慮した場合、驚くほど顕著である。
  論文  参考訳（メタデータ） (2022-01-17T23:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。