論文の概要: Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views

• arxiv url: http://arxiv.org/abs/2609.04180v1
• Date: Thu, 03 Sep 2026 17:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.197629
• Title: Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views
• Title（参考訳）: 事前学習時の知識獲得 : 補助的な視点で学習する大規模言語モデル
• Abstract要約: 補助的な視点、知識の再構築は、学習に因果的に有用であることを示す。 我々は、事前の知識ギャップの存在下で学習を支援する知識の形式、文脈、基礎を識別する。
• 参考スコア（独自算出の注目度）: 12.644014958285881
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaps remain in our understanding of how large language models (LLMs) acquire knowledge during pre-training. We posit that auxiliary views, reformulations of knowledge, are causally helpful for learning. We design controlled experiments to isolate this. First, we confirm that repetition is necessary for acquisition and clarify that paraphrasing helps only at smaller batch sizes. Second, holding the token budget fixed, allocating tokens from document repetition to auxiliary views improves learning, counterintuitively, even for factual recall. Third, the effectiveness of auxiliary views is not contingent on the strength of the teacher model that generates them. Fourth, we identify forms of knowledge, contextual and foundational, that aid learning in the presence of prior knowledge gaps. Finally, we examine how these effects manifest mechanistically via layer-wise biases and compression. Together, our findings suggest that auxiliary representations of knowledge, which arise naturally in large pre-training corpora, are a key factor in the success of pre-training and offer a plausible explanation for why data diversity matters.
• Abstract（参考訳）: 大きな言語モデル(LLM)が事前学習中にどのように知識を得るか、という私たちの理解にギャップは残っています。 補助的な視点、知識の改革は、学習に因果的に役立つと仮定する。 我々はこれを分離するために制御実験を設計した。 まず、獲得には繰り返しが必要であることを確認し、より小さなバッチサイズでのみパラフレージングが有効であることを示す。 第二に、トークンの予算を固定し、文書の繰り返しから補助的なビューにトークンを割り当てることで、事実のリコールであっても、学習、反故意に改善する。 第三に、補助的な視点の有効性は、それらを生成する教師モデルの強さに左右されない。 第4に,事前知識ギャップの存在下での学習を支援する知識,文脈的,基礎的形態を同定する。 最後に,これらの効果が階層的バイアスや圧縮によって機械的にどのように現れるかを検討する。 この結果から, 学習前コーパスに自然に現れる知識の補助表現が, 事前学習の成功の鍵となる要因であり, データの多様性が問題となる理由を解明できる可能性が示唆された。

関連論文リスト

• Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
  Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。 提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T12:15:19Z)
• How Do Large Language Models Acquire Factual Knowledge During Pretraining? [36.59608982935844]
  本研究では,大規模言語モデル(LLM)が事前学習中に事実知識を取得する方法を検討する。 発見は、事前訓練中の事実知識獲得のダイナミクスに関するいくつかの重要な洞察を明らかにしている。
  論文  参考訳（メタデータ） (2024-06-17T17:54:40Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
  大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。 本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-02-22T04:20:14Z)
• Assertion Enhanced Few-Shot Learning: Instructive Technique for Large Language Models to Generate Educational Explanations [0.0]
  人間の教育者は、生徒から教育的な説明を求め、予測する本質的な能力を持っている。 我々は,大規模言語モデルの少数ショット学習機能を用いて,インテリジェント・チューリング・システムを構築することを目的としている。
  論文  参考訳（メタデータ） (2023-12-05T20:41:34Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• The Effect of Masking Strategies on Knowledge Retention by Language Models [9.130890741447422]
  本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。 我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。 我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
  論文  参考訳（メタデータ） (2023-06-12T15:35:23Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Investigating Forgetting in Pre-Trained Representations Through Continual Learning [51.30807066570425]
  事前学習した言語モデルの汎用性に及ぼす表現忘れの影響について検討する。 様々な事前学習されたLMで一般化が破壊され,構文的・意味的知識は連続学習によって忘れられることがわかった。
  論文  参考訳（メタデータ） (2023-05-10T08:27:59Z)
• Tell me why! -- Explanations support learning of relational and causal structure [24.434551113103105]
  説明は人間の学習において重要な役割を担い、特にAIにとって大きな課題が残る分野においてである。 我々は、強化学習エージェントが説明の恩恵を受ける可能性があることを示す。 我々の結果は、説明からの学習が強力な原則であり、より堅牢で一般的な機械学習システムのトレーニングに有望な道筋を提供することを示唆している。
  論文  参考訳（メタデータ） (2021-12-07T15:09:06Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。