論文の概要: Minibatch persistency, eight years later: what batch reuse costs in steps and joules, and what it saves in data

• arxiv url: http://arxiv.org/abs/2609.13922v1
• Date: Sat, 12 Sep 2026 13:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.611302
• Title: Minibatch persistency, eight years later: what batch reuse costs in steps and joules, and what it saves in data
• Title（参考訳）: 8年後のミニバッチ持続性:ステップとジュールにおけるバッチ再利用のコストとデータ保存のコスト
• Abstract要約: Minibatchの永続性は、データを読む代わりにデータを再利用する。 再利用は単により大きな学習率を模倣するだけです 最もよく見えるB = 512では、登録された制御は、その位置から再使用が学習率のスケジュールに与える影響を分離できない。
• 参考スコア（独自算出の注目度）: 0.913755431537592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minibatch persistency reuses data instead of reading it: rather than drawing a fresh minibatch at every optimizer step, it takes K consecutive steps on the same one. Absorbed into data echoing in 2019, it has carried one objection -- that reuse merely imitates a larger learning rate -- and no baseline tuned as carefully as the method itself. This paper runs the missing test. A pre-registered study trains a 49M-parameter Transformer on FineWeb-Edu at minibatch size B in {32, 128, 512}, 8 seeds per cell, tuning the learning rate separately for every batch size and every arm, against a reuse-free control that changes the sampling and nothing else. Each headline claim is a cost to reach a fixed loss, read on four axes: optimizer steps, fresh tokens, seconds, and joules at the socket. We then replicate on new seeds and a newer GPU generation, and put the three arms on one schedule in steps. The outcome of our study is that what minibatch reuse buys is neither speed nor energy but data, and only at large minibatch size: at B = 32 it reads more fresh tokens than the baseline, not fewer. On steps, seconds and joules it is at best free; and at B = 512, where it looks best, a registered control cannot separate the effect of reuse from the position on the learning-rate schedule at n = 8 seeds. The technique is therefore worth using where fresh data rather than compute is the binding cost: a corpus that runs out, a pipeline that pays per sample, a stream that cannot be rewound. Where the data can simply be read again, spaced epochs do as well or better.
• Abstract（参考訳）: すべてのオプティマイザステップで新しいミニバッチを描く代わりに、同じステップでKの連続的なステップを踏む。 2019年にデータレコーズに吸収された同社は、1つの異議を申し立てた。これは単に学習率を単純に模倣しているだけであり、ベースラインはメソッド自体ほど慎重に調整されていない。 この論文は欠落したテストを実行している。 登録済みの研究では、FineWeb-Edu上の49Mパラメータートランスフォーマーを、32, 128, 512}のミニバッチサイズBで、セル毎の8つのシードでトレーニングし、バッチサイズと腕ごとに個別に学習率を調整する。 各見出しクレームは固定損失に達するコストで、4つの軸(オプティマイザステップ、フレッシュトークン、秒、ソケットのジュール)で読み取る。 次に、新しいシードと新しいGPU世代を複製し、3つのアームを1つのスケジュールにステップで配置します。 我々の研究の結果は、ミニバッチが購入するものは速度やエネルギーではなく、データのみであり、B = 32ではベースラインよりも新しいトークンを読み取ることができる。 ステップ、秒、ジュールでは最高に自由であり、B = 512では最もよく見えるが、登録された制御は、n = 8シードでの学習率のスケジュール上の位置から再利用の効果を分離できない。 したがって、計算ではなく新鮮なデータがバインディングコストである場合、そのテクニックを使用する価値がある。 データが再読まれる場合、スペース付きエポックも同じように動作する。

関連論文リスト

• Compressed Recurrent Feedback in Tsetlin Machines: A Reproducible Boolean-FSM Study [2.9427962599440822]
  小さなデバイス上での逐次推論は、長い入力レコードを繰り返すことなく有用な履歴を保持するモデルを必要とする。 セクションバンクによって直接フィードバックが増加し、不要に繰り返し入力を拡大することができる。 排他的OR(XOR)折りたたみによる節のアクティベーションを組み合わせ、折りたたみビットを2つの時間スケールで保持し、それらをバイナリ状態に戻します。
  論文  参考訳（メタデータ） (2026-09-05T14:58:21Z)
• Data-efficient pre-training by scaling synthetic megadocs [108.28995799706763]
  損失スケーリングを向上する合成データアルゴリズムの設計方法について述べる。 まず,Webデータと合成リフレーズを混合した事前学習により,検証損失が向上することを示す。 同じ文書から生成した合成世代は、1つの非常に長いメガドキュメントを形成することができます。
  論文  参考訳（メタデータ） (2026-03-19T06:30:33Z)
• Leveraging Lightweight Generators for Memory Efficient Continual Learning [0.01874930567916036]
  破滅的な忘れは、すべてのデータを以前のタスクからメモリに保持することで、簡単に軽減できる。 本稿では,メモリベースの連続学習アルゴリズムに必要なメモリを削減することを目的とする。
  論文  参考訳（メタデータ） (2025-06-24T14:59:52Z)
• Non-Uniform Memory Sampling in Experience Replay [1.9580473532948401]
  破滅的な忘れを和らげるための一般的な戦略は、経験的なリプレイである。 ほとんどのアプローチでは、このバッファからのサンプリングはデフォルトで一様であると仮定する。 我々は試験毎に50種類の非一様サンプリング確率重みを生成し、最終的な精度を一様サンプリング基準値と比較する。
  論文  参考訳（メタデータ） (2025-02-16T23:04:16Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs [37.378865860897285]
  In-Batchコントラスト学習(In-Batch contrastive learning)は、意味的に類似したインスタンスを近接させる最先端の自己教師方式である。 最近の研究は、現在のミニバッチにおいて、硬い負のテキストをサンプリングすることで、性能を向上させることを目的としている。 我々は、BatchSamplerを、識別し難いインスタンス(すなわち、互いに強陰性および真陰性)のミニバッチのサンプルとして提示する。
  論文  参考訳（メタデータ） (2023-06-06T02:13:27Z)
• GraB: Finding Provably Better Data Permutations than Random Reshuffling [39.067886932979874]
  ランダムリシャッフルはデータセットを各エポックにランダムに置換するが、非置換サンプリングよりも高速な収束をもたらすため、モデルトレーニングでは広く採用されている。 最近の研究では、厳密に選択されたデータ順序付けは、より多くの計算とメモリを使用するコストで、経験的に収束をさらにスピードアップさせることができることが示されている。 グラディエント・バランシング・アルゴリズム(GraB)は、トレーニングと検証の両方のパフォーマンスにおいて、ランダムなリシャッフルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-22T04:17:32Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning [78.80707950262214]
  デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。 既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。 メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
  論文  参考訳（メタデータ） (2020-07-22T18:39:53Z)
• Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion [11.484811954887432]
  KGCモデルのトレーニングのためのランダムウォークに基づく新しいミニバッチサンプリング手法を提案する。 提案手法はDB100Kデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-04-12T06:16:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。