論文の概要: How Do Large Language Models Learn Concepts During Continual Pre-Training?

• arxiv url: http://arxiv.org/abs/2601.03570v1
• Date: Wed, 07 Jan 2026 04:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.260299
• Title: How Do Large Language Models Learn Concepts During Continual Pre-Training?
• Title（参考訳）: 大規模言語モデルは、連続的な事前学習中にどのように概念を学ぶか?
• Authors: Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang,
• Abstract要約: 我々は、個々の概念がどのように獲得され、忘れられるか、また、干渉やシナジーを通じて複数の概念がどのように相互作用するかを研究する。 本研究は,概念学習力学の回路レベルの視点を提供し,より解釈可能で堅牢な概念認識学習戦略の設計を通知する。
• 参考スコア（独自算出の注目度）: 69.99800338599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human beings primarily understand the world through concepts (e.g., dog), abstract mental representations that structure perception, reasoning, and learning. However, how large language models (LLMs) acquire, retain, and forget such concepts during continual pretraining remains poorly understood. In this work, we study how individual concepts are acquired and forgotten, as well as how multiple concepts interact through interference and synergy. We link these behavioral dynamics to LLMs' internal Concept Circuits, computational subgraphs associated with specific concepts, and incorporate Graph Metrics to characterize circuit structure. Our analysis reveals: (1) LLMs concept circuits provide a non-trivial, statistically significant signal of concept learning and forgetting; (2) Concept circuits exhibit a stage-wise temporal pattern during continual pretraining, with an early increase followed by gradual decrease and stabilization; (3) concepts with larger learning gains tend to exhibit greater forgetting under subsequent training; (4) semantically similar concepts induce stronger interference than weakly related ones; (5) conceptual knowledge differs in their transferability, with some significantly facilitating the learning of others. Together, our findings offer a circuit-level view of concept learning dynamics and inform the design of more interpretable and robust concept-aware training strategies for LLMs.
• Abstract（参考訳）: 人間は主に、概念(例えば犬)、知覚、推論、学習を構造化する抽象的な心的表現を通じて世界を理解する。 しかし、大規模な言語モデル(LLM)が、継続事前訓練中にそのような概念を習得し、保持し、忘れているかは、まだよく分かっていない。 本研究では,個々の概念がどのように獲得され,忘れられるか,また,干渉やシナジーを通じて複数の概念がどう相互作用するかを考察する。 我々は、これらの挙動力学をLLMの内部概念回路、特定の概念に関連付けられた計算サブグラフにリンクし、回路構造を特徴づけるためにグラフメトリックスを組み込む。 分析の結果,(1)LLMの概念回路は概念学習と忘れの非自明で統計的に有意なシグナルを与え,(2)概念回路は継続事前学習中に段階的に時間的パターンを示すが,早期に増加し,徐々に減少・安定化し,(3)より大きな学習ゲインを持つ概念は後続の訓練においてより多く忘れられやすい傾向を示し,(4)意味的に類似した概念は,弱い関連概念よりも強い干渉を誘発し,(5)概念知識は伝達性が異なる。 本研究は,概念学習力学の回路レベルでの視点を提供し,LLMのより解釈可能で堅牢な概念認識学習戦略の設計を通知するものである。

関連論文リスト

• FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
  ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。 本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。 私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
  論文  参考訳（メタデータ） (2025-10-29T13:35:46Z)
• Neuro-Symbolic Concepts [72.94541757514396]
  本稿では、連続的に学習し、柔軟に推論できるエージェントを構築するための概念中心のパラダイムについて述べる。 概念中心のエージェントは、ニューロシンボリックな概念の語彙を利用する。 このフレームワークには、データ効率、構成一般化、連続学習、ゼロショット転送など、いくつかの利点がある。
  論文  参考訳（メタデータ） (2025-05-09T17:02:51Z)
• Walking the Web of Concept-Class Relationships in Incrementally Trained Interpretable Models [25.84386438333865]
  概念とクラスは複雑な関係の網を形成しており、それは劣化しやすく、経験を通じて保存および拡張する必要がある。 本研究では,マルチモーダルな概念を用いて,学習可能なパラメータの数を増やすことなく分類を行う新しい手法である MuCIL を提案する。
  論文  参考訳（メタデータ） (2025-02-27T18:59:29Z)
• Sample-efficient Learning of Concepts with Theoretical Guarantees: from Data to Concepts without Interventions [13.877511370053794]
  概念ボトルネックモデル(CBM)は、高次元データから解釈可能な概念を学ぶことでこれらの課題に対処する。 本稿では,学習概念の正しさと必要なラベル数に関する理論的保証を提供する枠組みについて述べる。 合成および画像のベンチマークにおいて、我々のフレームワークを評価し、学習された概念が不純物が少なく、しばしば他のCBMよりも正確であることを示す。
  論文  参考訳（メタデータ） (2025-02-10T15:01:56Z)
• Revealing emergent human-like conceptual representations from language prediction [90.73285317321312]
  大規模言語モデル(LLMs)は、人間らしい振る舞いを示すテキストの次のトーケン予測によってのみ訓練される。 これらのモデルでは、概念は人間のものと似ていますか? LLMは、他の概念に関する文脈的手がかりに関連して、言語記述から柔軟に概念を導出できることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Towards Concept-Aware Large Language Models [56.48016300758356]
  概念は、学習、推論、コミュニケーションなど、様々な人間の認知機能において重要な役割を果たす。 概念を形作り、推論する能力を持つ機械を授けることは、ほとんどない。 本研究では,現代における大規模言語モデル(LLM)が,人間の概念とその構造をどのように捉えているかを分析する。
  論文  参考訳（メタデータ） (2023-11-03T12:19:22Z)
• Concept Representation Learning with Contrastive Self-Supervised Learning [0.6091702876917281]
  概念指向ディープラーニング(CODL)は、ディープラーニングの今後の課題を満たすための一般的なアプローチである。 コントラスト型自己教師型学習(CSSL)を用いた概念表現学習の諸側面について論じる。
  論文  参考訳（メタデータ） (2021-12-10T17:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。