論文の概要: Demystifying Data Organization for Enhanced LLM Training

• arxiv url: http://arxiv.org/abs/2605.30334v1
• Date: Thu, 28 May 2026 17:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.745455
• Title: Demystifying Data Organization for Enhanced LLM Training
• Title（参考訳）: LLM強化トレーニングのためのデミスティフィケーションデータ組織
• Authors: Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li,
• Abstract要約: 大規模言語モデル(LLM)は様々な分野に革命をもたらしたが、その訓練効率は効果的なデータキュレーションに大きく依存している。 本稿では,データ効率向上のために作成された事前計算されたサンプルレベルのスコアを再利用することで,データ組織がLLMトレーニングに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 27.639372382009725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have revolutionized various fields, yet their training efficiency is heavily reliant on effective data curation. While data selection has been widely studied, the strategic data organization for enhanced training remains an underexplored area, particularly since current LLMs are often trained for only one or a few epochs. This paper systematically explores the influence of data organization on LLM training by reusing pre-computed sample-level scores originally generated for data efficiency, thereby incurring minimal additional computational overhead. We identify and formalize four key guidelines for optimizing data organization: Boundary Sharpening, Cyclic Scheduling, Curriculum Continuity, and Local Diversity. Guided by them, we introduce two novel data ordering methods termed STR and SAW. Extensive experiments across different model scales and data sizes, encompassing both pre-training and SFT stages, validate the effectiveness of our summarized guidelines. They also demonstrate the robustness of our proposed data ordering methods in enhancing the stability and performance of LLM training. Github Link: https://github.com/microsoft/data-efficacy/
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な分野に革命をもたらしたが、その訓練効率は効果的なデータキュレーションに大きく依存している。 データ選択は広く研究されているが、訓練強化のための戦略的データ組織は未調査の領域であり、特に現在のLSMは1つか数回しか訓練されないためである。 本稿では,LLMトレーニングにおけるデータ組織の影響を,データ効率のために生成された事前計算されたサンプルレベルスコアを再利用することにより,最小限の計算オーバーヘッドを発生させることにより体系的に検討する。 データ組織を最適化するための4つの重要なガイドラインを定式化し、定式化する。 そこで本研究ではSTRとSAWという2つの新しいデータ順序付け手法を紹介した。 事前学習とSFTの両方の段階を含む,異なるモデルスケールとデータサイズにわたる広範囲な実験により,要約したガイドラインの有効性が検証された。 また,LLMトレーニングの安定性と性能を向上させるため,提案したデータ順序付け手法の堅牢性を示す。 Githubリンク:https://github.com/microsoft/data-efficacy/

関連論文リスト

• Towards Next-Generation LLM Training: From the Data-Centric Perspective [29.115711465172122]
  大規模言語モデル(LLM)は、様々なタスクやドメインで顕著なパフォーマンスを示しており、データはこれらの進歩を可能にする上で中心的な役割を果たす。 この成功にもかかわらず、LLMトレーニングに必要な大量のデータセットの準備と有効利用は大きなボトルネックのままである。 本稿では、ワークフローの自動構築とスケーラブルなデータ管理をサポートする、堅牢でエージェントベースの自動データ準備システムの構築を提案する。 我々は、トレーニングプロセスを通してデータを動的に選択し、混合し、再重み付けし、より効率的で適応的で、パフォーマンスに配慮したデータ利用を可能にする統一されたデータモデルインタラクショントレーニングシステムについて論じる。
  論文  参考訳（メタデータ） (2026-03-16T01:40:09Z)
• Data Science and Technology Towards AGI Part I: Tiered Data Management [53.64581824953229]
  我々は、人工知能の開発がデータモデル共進化の新しい段階に入ったと論じる。 我々は、未処理のリソースから組織的で検証可能な知識まで、L0-L4階層のデータ管理フレームワークを紹介します。 提案手法の有効性を実証研究により検証する。
  論文  参考訳（メタデータ） (2026-02-09T18:47:51Z)
• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• A Survey on Efficient Large Language Model Training: From Data-centric Perspectives [42.897899343082806]
  本稿では,データ中心の観点から学習後のデータ効率の高い大規模言語モデルに関する最初の体系的な調査を示す。 本稿では,データ選択,データ品質向上,合成データ生成,データ蒸留・圧縮,自己進化型データエコシステムを対象とする,データ効率の高いLCMポストトレーニング手法の分類法を提案する。 我々の研究が、大規模モデルトレーニングにおけるデータ利用の可能性の最大化に、さらなる探究を促すことを願っています。
  論文  参考訳（メタデータ） (2025-10-29T17:01:55Z)
• Data Efficacy for Language Model Training [29.901090317084005]
  データは言語モデル(LM)の訓練の基礎となる。 近年の研究では、トレーニングデータの最小または最適サブセットを選択することで、パフォーマンスを最大化することを目的としている。 本研究は、LMトレーニングにおけるデータの有効性を検討するための一般的なパラダイムであるDELTを紹介する。
  論文  参考訳（メタデータ） (2025-06-26T17:59:07Z)
• How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective [29.924482732745954]
  既存のアプローチでは、忘れられるべきデータポイントは独立であり、接続性を無視していると仮定している。 構造データセットをコンパイルする手法であるPISTOLを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:22:36Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。