論文の概要: Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency

• arxiv url: http://arxiv.org/abs/2610.13835v1
• Date: Fri, 09 Oct 2026 16:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.690067
• Title: Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
• Title（参考訳）: 専門医はより速く学習する: 事前学習の知識組織は知識の更新効率を向上する
• Abstract要約: 既存の作業は主に、トレーニング後にこれらの更新を効率的にすることに焦点を当てています。 事前学習中の時間変化知識の組織化が、その後の更新の効率をいかに形作るかを検討する。
• 参考スコア（独自算出の注目度）: 22.800911207097766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An ideal (language) model must continually update its knowledge. Existing work largely focuses on making these updates efficient after training. We investigate how the organization of time-varying knowledge during pre-training shapes the efficiency of subsequent updates. Models trained on chronologically ordered knowledge specialize in the most recently encountered knowledge; we call them specialists. In contrast, models trained on the same knowledge in randomly shuffled order perform well across all represented time periods; we call them generalists. Surprisingly, specialists require far fewer update steps than generalists to acquire new knowledge. To explain this advantage, we derive a law from first principles that relates update cost to the model's optimization dynamics and that closely predicts empirical results. Guided by these findings, we design a strategy for organizing pre-training data that preserves stable historical knowledge while enabling efficient updates to current knowledge. We also show that the benefits of temporal knowledge organization extend to real-world pre-trained models and existing knowledge update tools, and generalize to other knowledge orderings. Project page: https://horizon-lab.org/specialist/
• Abstract（参考訳）: 理想的な(言語)モデルは、その知識を継続的に更新しなければなりません。 既存の作業は主に、トレーニング後にこれらの更新を効率的にすることに焦点を当てています。 事前学習中の時間変化知識の組織化が、その後の更新の効率をいかに形作るかを検討する。 時系列的に順序づけられた知識に基づいて訓練されたモデルは、最も最近遭遇した知識を専門とします。 対照的に、ランダムにシャッフルされた順序で同じ知識に基づいて訓練されたモデルは、表されるすべての期間にわたってうまく機能する。 意外なことに、専門家は、新しい知識を得るために、ジェネラリストよりもはるかに少ないアップデート手順を必要としている。 この利点を説明するために、我々は、更新コストとモデルの最適化力学を関連付けた最初の原則から法則を導出し、経験的結果を綿密に予測する。 これらの知見に導かれ、我々は、現在の知識の効率的な更新を可能にしつつ、安定した歴史的知識を保存する事前学習データを整理する戦略を設計する。 また、時間的知識体系の利点が、実世界の事前学習モデルや既存の知識更新ツールにまで拡張され、他の知識秩序に一般化されることを示す。 プロジェクトページ:https://horizon-lab.org/specialist/

関連論文リスト

• PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs [11.157564521901634]
  PASTAは、ニュース記事からの詳細な事実情報を新しい知識として、大規模言語モデルに統合するためのフレームワークである。 我々のフレームワークは、データ強化、質問応答生成、そして新しい自己学習DPOプロセスを組み合わせる。 一般的な言語能力を維持しながら、0.02から0.02の精度で大幅に改善されている。
  論文  参考訳（メタデータ） (2026-06-27T13:02:13Z)
• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大規模言語モデル(LLM)は最新の情報の提供に苦慮することが多い。 既存のアプローチは、通常、新しいドキュメントのトレーニングを継続する。 効率的なヒューマンラーニングにおけるFeynman Techniqueの成功に感銘を受けて、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
  本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。 我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。 我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-17T13:04:35Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• The Effect of Masking Strategies on Knowledge Retention by Language Models [9.130890741447422]
  本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。 我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。 我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
  論文  参考訳（メタデータ） (2023-06-12T15:35:23Z)
• Informed Pre-Training on Prior Knowledge [6.666503127282259]
  トレーニングデータが少ない場合には、追加の事前知識が組み込まれて学習プロセスを支援することができる。 本稿では,新しい情報機械学習手法を提案し,事前知識の事前学習を提案する。
  論文  参考訳（メタデータ） (2022-05-23T16:24:40Z)
• DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding [19.478288026844893]
  知識強化事前学習言語モデル(英: Knowledge-Enhanced Pre-trained Language Models, KEPLM)は、知識グラフから3重関係を注入して言語理解能力を向上させる事前学習モデルである。 従来の研究は、知識グラフから得られた知識を表現するための知識エンコーダとモデルを統合する。 本稿では,事前学習,微調整,推論段階における事前学習言語モデルの知識注入過程を分解する,DKPLMという新しいKEPLMを提案する。
  論文  参考訳（メタデータ） (2021-12-02T08:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。