論文の概要: Advancement or Acceleration? How Data Curation Improves LLM Training

• arxiv url: http://arxiv.org/abs/2610.36983v1
• Date: Tue, 27 Oct 2026 10:34:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.567159
• Title: Advancement or Acceleration? How Data Curation Improves LLM Training
• Title（参考訳）: 進歩か加速か? データキュレーションがLLMトレーニングをどのように改善するか
• Abstract要約: 進行には列車目標ギャップの修正が必要であることを示す。 我々は、この条件を、高価なキュレーションの前に計算可能な未計算ベースラインのトレーニングと目標損失との可観測的な相違である$-testとして運用する。
• 参考スコア（独自算出の注目度）: 30.373079721026556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While data curation is widely credited with improving large language model training, a basic question remains unresolved: does curation expand what a model can ultimately learn, or merely reach the same solution faster? In this paper, we formalize this distinction between advancement (improving the attainable performance) and acceleration (reaching the same performance with less data). Through an analytic characterization and real-world LLM experiments, we show that advancement requires a correctable train-target gap. When the baseline training and target objectives coincide, no curation policy improves the endpoint, although curation may still accelerate training. This reframes advancement as a property of the curation task rather than the curation method. Under a common gap-centric view of data mixture and selection, we operationalize this condition as the $Δ$-test, an observable discrepancy between the uncurated baseline's training and target losses that is computable prior to expensive curation. Across extensive experiments, an appreciably nonzero $Δ$ predicts persistent gains, whereas gains near $Δ=0$ tend to diminish as the training budget grows. Beyond individual methods, our findings recenter data curation on the task itself and point to target-set construction as a promising direction for shaping what curation can achieve.
• Abstract（参考訳）: データキュレーションは大規模な言語モデルのトレーニングを改善することで広く評価されているが、基本的な問題は未解決のままである。 本稿では、この差分を、向上(達成可能な性能の向上)と加速(少ないデータで同じ性能を得る)で定式化する。 解析的キャラクタリゼーションと実世界のLLM実験を通して、進行には修正可能な列車目標ギャップが必要であることを示す。 ベースライントレーニングと目標目標が一致した場合、キュレーションポリシがエンドポイントを改善することはないが、キュレーションはトレーニングを加速する可能性がある。 これにより、キュレーションメソッドではなくキュレーションタスクのプロパティとしてプログレスメントが再編成される。 データ混合と選択の共通的なギャップ中心のビューの下で、我々はこの条件を$Δ$-testとして運用する。 大規模な実験では、非ゼロの$Δ$は持続的な利得を予測するが、訓練予算が増加するにつれて、$Δ=0$に近い利得は減少する傾向がある。 個別の手法を超えて、我々の発見はタスク自体の最近のデータキュレーションとターゲットセット構築を、キュレーションが達成できるものを作るための有望な方向として指している。

関連論文リスト

• Recursive Harness Self-Improvement [28.432258880153125]
  モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。 本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。 RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
  論文  参考訳（メタデータ） (2026-07-17T00:21:19Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• STRIDE: Training Data Attribution via Sparse Recovery from Subset Perturbations [46.963298896594814]
  トレーニングデータ属性(Training Data Attribution)は、モデルの予測をトレーニングデータに遡る。 ほとんどのアプローチでは、勾配を使ってパラメータ空間でこの効果を近似する。 活性化空間におけるトレーニングデータの機能的効果をモデル化する。
  論文  参考訳（メタデータ） (2026-06-03T17:59:36Z)
• LLMs Can Get "Brain Rot"! [68.08198331505695]
  ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する 実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。 その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-15T13:28:49Z)
• Thinking Augmented Pre-training [88.04395622064708]
  拡張事前学習は、自動生成された思考軌跡でテキストを増強する普遍的な方法論である。 本稿では,既存のテキストデータを思考トラジェクトリで拡張することにより,大規模言語モデル(LLM)トレーニングのデータ効率を向上させるための,シンプルでスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-24T14:45:13Z)
• Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
  長さ制御推論のためのカリキュラム学習戦略を提案する。 当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-12T13:48:03Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。