論文の概要: Reusing Pre-Training Data at Test Time is a Compute Multiplier

• arxiv url: http://arxiv.org/abs/2511.04234v1
• Date: Thu, 06 Nov 2025 10:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.383575
• Title: Reusing Pre-Training Data at Test Time is a Compute Multiplier
• Title（参考訳）: テスト時間における事前学習データの再利用は計算乗算器である
• Authors: Alex Fang, Thomas Voice, Ruoming Pang, Ludwig Schmidt, Tom Gunter,
• Abstract要約: 事前トレーニングのプロセスによって、データセットの値がどれだけ残されていたか、定量化します。 我々は、事前トレーニングを行い、標準および主にオープンソースデータセットから検索すると、精度が大幅に向上することを示した。 これらの結果は、検索したコンテキストを解析するために、テスト時に追加の計算を活用することでさらに改善される。
• 参考スコア（独自算出の注目度）: 35.81885343245217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models learn from their vast pre-training corpora, gaining the ability to solve an ever increasing variety of tasks; yet although researchers work to improve these datasets, there is little effort to understand how efficient the pre-training apparatus is at extracting ideas and knowledge from the data. In this work, we use retrieval augmented generation along with test-time compute as a way to quantify how much dataset value was left behind by the process of pre-training, and how this changes across scale. We demonstrate that pre-training then retrieving from standard and largely open-sourced datasets results in significant accuracy gains in MMLU, Math-500, and SimpleQA, which persist through decontamination. For MMLU we observe that retrieval acts as a ~5x compute multiplier versus pre-training alone. We show that these results can be further improved by leveraging additional compute at test time to parse the retrieved context, demonstrating a 10 percentage point improvement on MMLU for the public LLaMA 3.1 8B model. Overall, our results suggest that today's pre-training methods do not make full use of the information in existing pre-training datasets, leaving significant room for progress.
• Abstract（参考訳）: 大規模な言語モデルは、膨大な事前学習コーパスから学習し、ますます増加するさまざまなタスクを解決する能力を得るが、研究者はこれらのデータセットの改善に取り組んでいるが、事前学習装置がデータからアイデアや知識を抽出する上で、いかに効果的であるかを理解する努力はほとんどない。 この研究では、事前トレーニングのプロセスによって、データセット値がどれだけ残されているか、規模によってどのように変化するのかを定量化する手段として、検索拡張生成とテスト時間計算を使用します。 その結果, MMLU, Math-500, SimpleQAの精度が向上し, 除染を継続することがわかった。 MMLUの場合、検索は計算乗算の約5倍であり、事前学習のみである。 LLaMA 3.1 8B モデルに対する MMLU の 10 パーセントの改善を図った上で,これらの結果をさらに改善できることを示す。 以上の結果から,現在の事前学習手法では,既存の事前学習データセットの情報を十分に活用できないことが示唆された。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale [12.94829977468838]
  大量のテキストデータが大きな言語モデルの開発に大きく貢献している。 これまで、データセットを高品質なサブセットまで掘り下げる努力は、ルールベースのフィルタとしてエンコードされた手作りのものに依存してきた。 より広い視点で、事前学習データの品質を測定するために使用できる、スケーラブルなデータ品質の推定を探求します。
  論文  参考訳（メタデータ） (2023-09-08T19:34:05Z)
• D4: Improving LLM Pretraining via Document De-Duplication and Diversification [38.84592304799403]
  事前訓練されたモデル埋め込みによる慎重なデータ選択は、トレーニングをスピードアップできることを示す。 また、データ繰り返しがベースライントレーニングよりインテリジェントに優れていることも示しています。
  論文  参考訳（メタデータ） (2023-08-23T17:58:14Z)
• Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods [29.141145775835106]
  固定されたFLOP予算が与えられた場合、代表的な視覚的タスクに対して高い正確性を得るために最適なデータセット、モデル、そして(自己監督的な)トレーニング方法は何ですか? 5つの大規模データセット(JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO)と6つの事前学習方法(CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised)を検討した。 本稿の結果は,自己管理手法が本質的に大規模で未処理なデータにスケールする,という一般的な仮定に疑問を投げかけるものである。
  論文  参考訳（メタデータ） (2022-09-30T17:04:55Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Domain-matched Pre-training Tasks for Dense Retrieval [68.07140087626637]
  モデルサイズがますます大きくなる大規模データセットでの事前トレーニングは、ほぼすべてのNLPタスクのパフォーマンス向上のための実証済みのレシピである。 適切な事前トレーニング設定で、この障壁を克服できることが示されています。 1)最近リリースされた6500万の合成された質問セットと、既存のReddit会話のデータセットから2億のポストコメンデーションペアをトレーニングすることで、これを実証する。
  論文  参考訳（メタデータ） (2021-07-28T19:13:00Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。