論文の概要: Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training

• arxiv url: http://arxiv.org/abs/2607.04969v1
• Date: Mon, 06 Jul 2026 11:57:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.13092
• Title: Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training
• Title（参考訳）: 列車はより賢く、長続きしない:効率的なLDM訓練のための記憶誘導データ再利用
• Abstract要約: 記憶誘導データ再利用」は、いつ、どのようにデータを再利用すべきかを適応的に決定する訓練パラダイムである。 予備実験では、一貫した記憶駆動体制が示される。
• 参考スコア（独自算出の注目度）: 11.074386515074446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training paradigm of large language models has shifted from traditional one-pass training to multi-epoch training, as reasonable reuse of limited high-quality data can improve both model performance and sample efficiency. Meanwhile, excessive repetition introduces the risk of overfitting and diminishing returns. Determining when and how to reuse data effectively thus emerges as a natural but under-explored question. Through a novel observation of model's "Memorization Window" signals derived from loss retention dynamics and downstream evaluation scores, we propose "Memorization-guided Data Reuse", a training paradigm that adaptively determines when and how data should be reused, enabling principled decisions on the number of training epochs and the scheduling of data replays. Our preliminary experiments reveal a consistent memorization-driven regime: performance continues to improve with repetition far beyond current practice (e.g., the commonly cited four-epoch limit). While a full scheduler remains future work, these insights provide a foundation for memorization-aware training schedules, helping to determine reuse budgets and move toward training LLMs smarter rather than longer with limited high-quality data.
• Abstract（参考訳）: 大規模な言語モデルのトレーニングパラダイムは、従来のワンパストレーニングからマルチエポックトレーニングに移行している。 一方、過剰な繰り返しは、過度に適合し、リターンを減少させるリスクをもたらす。 データを効果的に再利用する時期と方法を決定することは、自然だが未調査の質問として現れる。 本稿では、損失保持ダイナミクスと下流評価スコアから得られたモデル「記憶窓」信号の新たな観察を通して、データ再利用のタイミングと方法を適応的に決定する訓練パラダイムである「記憶誘導データ再利用」を提案し、トレーニングエポックの数やデータ再生のスケジューリングに関する原則的決定を可能にする。 我々の予備実験は、一貫した暗記駆動体制を明らかにしている: パフォーマンスは、現在の慣行(例:一般的に引用される4つのエポック限界)を超えて、繰り返し改善され続けている。 フルスケジューラは今後も作業を続けるが、これらの洞察は、記憶を意識したトレーニングスケジュールの基盤を提供し、再利用予算を決定するのに役立ち、限られた高品質のデータでではなく、LLMをよりスマートにトレーニングするのに役立つ。

関連論文リスト

• When to Review: Spaced Repetition for Continual Pre-Training of Language Models [1.0262304700896199]
  既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。 トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。 認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
  論文  参考訳（メタデータ） (2026-08-18T08:51:47Z)
• Incremental Evaluation and Training in Relational Deep Learning [0.0]
  本稿では,最先端RDLモデルの時間適応性の評価と改善を目的とした,段階的かつ多段階評価および訓練パラダイムを提案する。 私たちのモデルは、標準的で高価で、スクラッチでトレーニングされたベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-08-13T09:46:29Z)
• Continual Self-Improvement with Lightweight Experiential Latent Memories [5.476321641759679]
  大規模言語モデルは、推論時間計算をスケールすることで、強力な推論性能を達成する。 In-Context Learning (ICL) が生の推論トレース上では一般化できないことを示す。 本稿では,問題に費やされた推論時間計算を,コンパクトなモジュラー潜在記憶に蒸留するオンライン手法を提案する。
  論文  参考訳（メタデータ） (2026-06-16T11:27:28Z)
• MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning [36.119948355819]
  本稿では,サンプルレベルの記憶強度を推定し,アダプティブ間隔でリハーサルをスケジュールし,破滅的な忘れを緩和するエクスペリエンス・リプレイ・フレームワークを提案する。 3つのバックボーンモデルと11のシーケンシャルタスクにわたる大規模な実験は、MSSRが一貫して最先端のリプレイベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-10T16:49:44Z)
• Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
  本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。 本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-12-29T12:35:51Z)
• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Adaptive Memory Replay for Continual Learning [29.333341368722653]
  新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」 連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。 我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T22:01:56Z)
• Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization [24.143811670210546]
  生成体験 リプレイは、忘れずに蓄積的に新しいタスクを学ぶという課題に対処する。 生成的再生に用いる3つの学習目標語を微調整するための時間認識正規化手法を提案する。 実験結果から,本手法は脳に触発された連続学習者の限界を,そのような厳密な条件下で押し上げることが示唆された。
  論文  参考訳（メタデータ） (2023-10-05T21:07:45Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。