論文の概要: Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training

• arxiv url: http://arxiv.org/abs/2502.04066v5
• Date: Sat, 11 Oct 2025 12:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.136977
• Title: Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training
• Title（参考訳）: スケーリングを超えて - 言語モデルによる事前学習における知識保持の上位境界の測定と予測
• Authors: Changhao Jiang, Ming Zhang, Yifei Cao, Junjie Ye, Xiaoran Fan, Shihan Dou, Zhiheng Xi, Jiajun Sun, Yi Dong, Yujiong Shen, Jingqi Tong, Baoyu Fan, Qi Zhang, Tao Gui, Xuanjing Huang,
• Abstract要約: 我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
• 参考スコア（独自算出の注目度）: 68.94373533768501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The GPT-4 technical report suggests that downstream performance can be predicted from pre-training signals, but offers little methodological detail on how to quantify this. This work address this gap by modeling knowledge retention, the capacity of a pre-trained language model to memorize factual information from its corpus, and introduce a principled method to estimate it prior to training. We propose Size-dependent Mutual Information (SMI), an information-theoretic predictor that integrates knowledge frequency, knowledge specificity, and model size to forecast closed-book question answering (QA) accuracy. SMI is validated through large-scale document retrieval over the disclosed pre-training corpora of 21 public and 3 custom models, combined with a robust multi-template QA evaluation. Experiments show that SMI significantly outperforms repetition-based baselines and achieves $R^2$ > 0.7 in predicting QA accuracy for models above 1B parameters, without additional training. The analysis further reveals diminishing returns from scaling data and model size and provides evidence for an intrinsic upper bound on knowledge retention achievable by pre-training alone, motivating retrieval and other augmentation strategies.
• Abstract（参考訳）: GPT-4の技術的報告では、下流のパフォーマンスは事前訓練された信号から予測できるが、これを定量化する方法に関する方法論的な詳細はほとんど示されていない。 本研究は、知識保持のモデル化、コーパスから事実情報を記憶する事前学習言語モデルの能力、学習前にそれを推定する原則的手法の導入により、このギャップに対処する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。 SMIは、21の公開および3のカスタムモデルの事前学習コーパスを公開し、頑健なマルチテンプレートQA評価と組み合わせて、大規模文書検索によって検証される。 実験の結果、SMIは繰り返しベースラインを著しく上回り、1Bパラメータ以上のモデルのQA精度を予測するためにR^2$ > 0.7ドルを達成する。 この分析は、データのスケーリングとモデルサイズからのリターンの減少をさらに明らかにし、事前学習、検索の動機付け、その他の強化戦略によって達成できる知識保持に関する本質的な上限の証拠を提供する。

関連論文リスト

• Value-Based Deep RL Scales Predictably [100.21834069400023]
  本研究は, 地域社会が病的行動に不安を抱いているにもかかわらず, 価値に基づく非政治的RL法が予測可能であることを示す。 SAC、BRO、PQLの3つのアルゴリズムを使って、DeepMind Control、OpenAI gym、IsaacGymの3つのアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:47Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• A Statistical Framework for Data-dependent Retrieval-Augmented Models [46.781026675083254]
  最新のMLシステムは、最終的な予測を強化するために、追加の関連情報によって入力インスタンスを増大させる。 本研究では,1)データ依存メトリックを用いて大規模コーパスから関連する情報を識別するエム検索器,2)検索した情報とともに入力インスタンスを消費し最終的な予測を行うエム予測器,の2つのコンポーネントを用いたモデルについて検討する。
  論文  参考訳（メタデータ） (2024-08-27T20:51:06Z)
• Reasoning and Tools for Human-Level Forecasting [0.4261908132550109]
  本稿では,Reasoning and Tools for Forecasting (RTF)について紹介する。 我々は,競争予測プラットフォームからの質問でモデルを評価し,本手法が人間の予測に勝るものであることを実証した。
  論文  参考訳（メタデータ） (2024-08-21T23:42:06Z)
• In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
  In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-07T05:48:05Z)
• Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models [37.02290559379761]
  Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。 このことに動機づけられた、適応検索拡張生成(ARAG)研究は、クエリによって要求される知識が LLM に欠如している場合にのみ検索する。
  論文  参考訳（メタデータ） (2024-04-04T15:21:22Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Skill-it! A Data-Driven Skills Framework for Understanding and Training Language Models [29.17711426767209]
  本稿では,タスク間のダウンストリームモデルの性能向上につながるデータの選択方法について検討する。 簡単な仮説に基づく新しいフレームワークを開発する。人間が意図的な順序で相互依存するスキルを取得するのと同じように、言語モデルもトレーニングデータから一連のスキルを学ぶ際に自然な順序に従う。
  論文  参考訳（メタデータ） (2023-07-26T18:01:49Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [117.48444197402858]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods [29.141145775835106]
  固定されたFLOP予算が与えられた場合、代表的な視覚的タスクに対して高い正確性を得るために最適なデータセット、モデル、そして(自己監督的な)トレーニング方法は何ですか? 5つの大規模データセット(JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO)と6つの事前学習方法(CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised)を検討した。 本稿の結果は,自己管理手法が本質的に大規模で未処理なデータにスケールする,という一般的な仮定に疑問を投げかけるものである。
  論文  参考訳（メタデータ） (2022-09-30T17:04:55Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
  本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。 ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
  論文  参考訳（メタデータ） (2022-02-06T20:07:35Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。