論文の概要: Data Strategies for Large Language Models: A Unified Perspective on the Training Lifecycle

• arxiv url: http://arxiv.org/abs/2610.21681v1
• Date: Thu, 15 Oct 2026 11:08:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.045451
• Title: Data Strategies for Large Language Models: A Unified Perspective on the Training Lifecycle
• Title（参考訳）: 大規模言語モデルのためのデータストラテジー:トレーニングライフサイクルの統一的展望
• Abstract要約: データ戦略は、トレーニングデータの選択、重み付け、スケジューリングを管理する。 この作業は、トレーニングライフサイクル全体にわたるデータ戦略をレビューし、候補事例よりもトレーニング予算を割り当てるポリシとして定式化します。
• 参考スコア（独自算出の注目度）: 8.958658351809502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data strategy plays a central role in training large language models (LLMs). It governs the selection, weighting, and scheduling of training data, thereby determining the capabilities a model can acquire from a fixed data budget. We treat high-quality data as having high training-dependent utility, which depends on the target objective, the model, and its training state rather than on the text alone. Research in this area now spans pretraining and post-training, but related ideas use inconsistent terminology and evaluation protocols. This work reviews data strategies across the training lifecycle and formulates them as policies that allocate a training budget over candidate examples. We organise methods by their decision granularity, model dependence, and temporal adaptivity, then compare their computational requirements and empirical support. Fine-grained or state-dependent policies offer more control but incur additional scoring, search, or rollout costs. Evidence for transfer across model scales and comparable end-to-end cost remains limited. A continuously updated list of papers, along with their public implementations, is available at https://github.com/xuyj233/data_strategy_survey.
• Abstract（参考訳）: データストラテジーは、大規模言語モデル(LLM)のトレーニングにおいて中心的な役割を果たす。 トレーニングデータの選択、重み付け、スケジューリングを管理し、モデルが固定データ予算から取得できる能力を決定する。 我々は、高品質なデータを、テキストのみではなく、目標目標、モデル、およびトレーニング状態に依存する、高いトレーニング依存ユーティリティを持つものとして扱う。 この分野の研究はプレトレーニングとポストトレーニングにまたがっているが、関連するアイデアは一貫性のない用語と評価プロトコルを使用している。 この作業は、トレーニングライフサイクル全体にわたるデータ戦略をレビューし、候補事例よりもトレーニング予算を割り当てるポリシとして定式化します。 決定的粒度,モデル依存度,時間適応度を用いて手法を整理し,その計算条件と経験的支援を比較検討する。 きめ細かい、あるいは州に依存したポリシーは、よりコントロールを提供するが、追加のスコア付け、検索、ロールアウトコストを発生させる。 モデルスケールと同等のエンド・ツー・エンド・コストで転送する証拠は依然として限られている。 更新された論文のリストと公開実装はhttps://github.com/xuyj233/data_strategy_survey.comで公開されている。

関連論文リスト

• Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback [1.5268922363885409]
  訓練後のリソースは、単一のFLOP予算によって要約されることが多い。 本稿では、GRPOポストトレーニングのためのFLOP会計フレームワークを紹介し、計算をロールアウト/検索、ポリシー更新/学習、報酬モデルまたはフィードバックモデル評価に分解する。 この結果から,RLポストトレーニング論文は,計算がモデルサイズ,探索,学習,フィードバックにどのように分割されるかとともに,FLOPの総量を報告すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-15T02:34:35Z)
• $V_0$: A Generalist Value Model for Any Policy at State Zero [80.7505802128501]
  ポリシーメソッドは、アクションの相対的な利点を測定するためにベースラインに依存します。 このベースラインは一般的に、政策モデルそのものと同じくらい大きな価値モデル(Critic)によって推定される。 未知のプロンプト上での任意のモデルの期待性能を推定できるジェネリスト値モデルを提案する。
  論文  参考訳（メタデータ） (2026-02-03T14:35:23Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Reasoning and Tools for Human-Level Forecasting [0.4261908132550109]
  本稿では,Reasoning and Tools for Forecasting (RTF)について紹介する。 我々は,競争予測プラットフォームからの質問でモデルを評価し,本手法が人間の予測に勝るものであることを実証した。
  論文  参考訳（メタデータ） (2024-08-21T23:42:06Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Deep Learning with Multiple Data Set: A Weighted Goal Programming Approach [2.7393821783237184]
  大規模データ分析は、我々の社会でデータが増大するにつれて、指数的な速度で成長している。 ディープラーニングモデルはたくさんのリソースを必要とし、分散トレーニングが必要です。 本稿では,分散学習のためのマルチ基準アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:10:25Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。