論文の概要: What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models

• arxiv url: http://arxiv.org/abs/2610.37631v1
• Date: Tue, 27 Oct 2026 17:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.7377
• Title: What Improves During Pretraining? Tracking Knowledge Acquisition with Point-in-Time Models
• Title（参考訳）: 事前学習における改善要因 : ポイント・イン・タイムモデルによる知識獲得の追跡
• Abstract要約: 事前学習が進むにつれて、どのような知識が学習されるのかは不明だ。 最近のWebスナップショットで訓練されたポイントインタイムモデルは、知識の頻度が時間とともにどのように変化するかを調査する方法を提供する。 ハイTVSアイテムは36のモデルベンチマーク設定のうち34の低いTVSアイテムより優れており、平均的な利点は7.3ポイントの確率正規化精度である。
• 参考スコア（独自算出の注目度）: 22.708659206696556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models pretrained on web corpora collected over multiple years learn both general and domain-specific knowledge. How these different kinds of knowledge are learned as pretraining progresses remains unclear. Recent point-in-time models trained on web snapshots from different years provide a way to probe how knowledge prevalence varies over time. Using these models, we propose a temporal variability score (TVS), defined as the coefficient of variation of an item's negative log-likelihood across models. A higher score suggests that the knowledge may be less consistently represented across years of web text. We evaluate six benchmarks covering diverse topics using six models from multiple open-source model families. We find that low- and high-TVS items are learned similarly early in training, but high-TVS items improve faster later on. At the end of the pretraining run, high-TVS items outperform low-TVS items in 34 of 36 model-benchmark settings, with an average advantage of 7.3 points of chance-normalized accuracy. This pattern is most robust on knowledge-intensive tasks, even when comparing items of similar difficulty. Our findings reveal differences in how knowledge is learned over the course of pretraining, with temporal variability providing a diagnostic of these learning dynamics beyond aggregate benchmark scores.
• Abstract（参考訳）: Webコーパスで事前訓練された言語モデルは、一般的な知識とドメイン固有の知識の両方を学ぶ。 事前学習が進むにつれて、これらの異なる知識がどのように学習されるかは、まだ不明である。 最近のWebスナップショットで訓練されたポイントインタイムモデルは、知識の頻度が時間とともにどのように変化するかを調査する方法を提供する。 これらのモデルを用いて、アイテムの負の対数類似度の変化係数として定義される時間変動スコア(TVS)を提案する。 高いスコアは、知識が長年のウェブテキストで一貫して表現されていないことを示唆している。 複数のオープンソースモデルファミリーの6つのモデルを用いて、多様なトピックをカバーする6つのベンチマークを評価した。 トレーニングの早い段階でも,低域と高域のTVS項目が同様に学習されることが分かるが,高域のTVS項目は遅かれ早かれ改善される。 事前トレーニングの終了時には、36のモデルベンチマーク設定のうち34の低いTVSアイテムより優れており、平均的な利点は7.3ポイントの確率正規化精度である。 このパターンは、同じような困難のある項目を比較する場合でも、知識集約的なタスクにおいて最も堅牢である。 この結果から,事前学習の過程での知識の学習方法の差異が明らかとなり,時間的変動が,これらの学習のダイナミクスを総合的なベンチマークスコアを超えて診断する結果となった。

関連論文リスト

• Understanding Data Temporality Impact on Large Language Models Pre-training [3.679526459634607]
  大型言語モデル(LLM)は一般にシャッフルコーパスで訓練される。 本研究では,事前学習のダイナミクスが時間に敏感な事実知識の獲得に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-21T17:31:17Z)
• TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning [54.70019148172847]
  テスト時強化学習(Test-Time Reinforcement Learning)のパラダイムをビデオ言語データに活用することにより,事前学習されたモデルを明示的なラベルなしで,テスト時のビデオサンプルに適応させることができる。 ビデオアプローチのためのテスト時間適応(TTA-Vid)は、同時に動作する2つのコンポーネントを組み合わせる。 TTA-Vidは、様々なビデオ推論タスクで一貫した改善をもたらし、大規模データで訓練された最先端の手法より優れている。
  論文  参考訳（メタデータ） (2026-04-01T09:52:57Z)
• From Data to Knowledge: Evaluating How Efficiently Language Models Learn Facts [2.8785704488518773]
  本研究では、異なるアーキテクチャとサイズの複数のモデルを分析し、すべて同じ事前学習データに基づいて訓練する。 トレーニングコーパス内の事象をその周波数でアノテートすることにより、モデルの性能が事実周波数とどのように異なるかを検討する。 以上の結果から,ほとんどのモデルが高周波の事実に類似しているが,低周波の事実に顕著に異なることが示唆された。
  論文  参考訳（メタデータ） (2025-06-20T11:10:24Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Test of Time: Instilling Video-Language Models with a Sense of Time [42.290970800790184]
  既存の7つのビデオ言語モデルは、単純な時間的関係を理解するのに苦労している。 そこで本稿では,少量のビデオテキストデータに基づく事前学習に基づく時間適応手法であるVideoCLIPを提案する。 タスクにより高い時間意識を必要とする場合,特にパフォーマンス向上の促進を観察する。
  論文  参考訳（メタデータ） (2023-01-05T14:14:36Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。