論文の概要: Time Course MechInterp: Analyzing the Evolution of Components and Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.03434v1
• Date: Tue, 03 Jun 2025 22:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.07628
• Title: Time Course MechInterp: Analyzing the Evolution of Components and Knowledge in Large Language Models
• Title（参考訳）: 時間コースMechInterp:大規模言語モデルにおけるコンポーネントと知識の進化の分析
• Authors: Ahmad Dawar Hakimi, Ali Modarressi, Philipp Wicke, Hinrich Schütze,
• Abstract要約: OLMo-7Bモデルにおける事実的知識表現の進化を解析する。 この結果から,LSMは当初は広範で汎用的なコンポーネントに依存しており,後にトレーニングの進行とともに専門化されることが明らかとなった。
• 参考スコア（独自算出の注目度）: 47.82491185709275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how large language models (LLMs) acquire and store factual knowledge is crucial for enhancing their interpretability and reliability. In this work, we analyze the evolution of factual knowledge representation in the OLMo-7B model by tracking the roles of its attention heads and feed forward networks (FFNs) over the course of pre-training. We classify these components into four roles: general, entity, relation-answer, and fact-answer specific, and examine their stability and transitions. Our results show that LLMs initially depend on broad, general-purpose components, which later specialize as training progresses. Once the model reliably predicts answers, some components are repurposed, suggesting an adaptive learning process. Notably, attention heads display the highest turnover. We also present evidence that FFNs remain more stable throughout training. Furthermore, our probing experiments reveal that location-based relations converge to high accuracy earlier in training than name-based relations, highlighting how task complexity shapes acquisition dynamics. These insights offer a mechanistic view of knowledge formation in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実の知識をいかに獲得し、保持するかを理解することは、解釈可能性と信頼性を高めるために重要である。 本研究では,OLMo-7Bモデルにおける実際の知識表現の進化を,その注意ヘッドの役割を追跡し,事前学習の過程でフォワードネットワーク(FFN)をフィードすることで解析する。 これらの構成要素は, 一般, 実体, 関係回答, 事実回答の4つの役割に分類し, 安定性と遷移について検討する。 この結果から,LSMは当初は広範で汎用的なコンポーネントに依存しており,後にトレーニングの進行とともに専門化されることが明らかとなった。 モデルが解答を確実に予測すると、いくつかのコンポーネントが再利用され、適応的な学習プロセスが提案される。 注目すべきは、アテンションヘッドが一番高いターンオーバーを表示することだ。 また,FFNは訓練中より安定していることを示す。 さらに, 探索実験により, 課題複雑性が獲得ダイナミクスをどう形作るかを明らかにすることにより, 位置ベース関係は, 名前ベース関係よりも早期の訓練において高い精度で収束することを明らかにする。 これらの知見は、LLMにおける知識形成の力学的視点を提供する。

関連論文リスト

• Enhancing Multi-Hop Fact Verification with Structured Knowledge-Augmented Large Language Models [26.023148371263012]
  マルチホップ事実検証のための構造化知識強化LLMベースネットワーク(LLM-SKAN)を提案する。 具体的には、LLM駆動の知識エクストラクタを用いて、エンティティとその複雑な関係を含むきめ細かい情報をキャプチャする。 4つの共通利用データセットに対する実験結果から,本モデルの有効性と優位性を示した。
  論文  参考訳（メタデータ） (2025-03-11T14:47:24Z)
• Learning Beyond the Surface: How Far Can Continual Pre-Training with LoRA Enhance LLMs' Domain-Specific Insight Learning? [4.390998479503661]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 しかし、ドメイン固有のデータセットからより深い洞察を抽出し、内部化する能力は、まだ探索されていない。 本研究は, インサイトラーニングにおけるLCMの能力を高めるために, 連続的事前学習がいかに有効かを検討する。
  論文  参考訳（メタデータ） (2025-01-29T18:40:32Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models [31.209774088374374]
  本稿では,知識強化言語モデルのためのロバストかつ効率的な事前学習フレームワークであるTRELMを紹介する。 我々は、知識を3倍に注入するための堅牢なアプローチと、価値ある情報を取得するための知識強化されたメモリバンクを採用しています。 我々は,TRELMが事前学習時間を少なくとも50%削減し,知識探索タスクや複数の知識認識言語理解タスクにおいて,他のKEPLMよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-17T13:04:35Z)
• EpiK-Eval: Evaluation for Language Models as Epistemic Models [16.485951373967502]
  セグメンテッドな物語から一貫した知識表現を定式化する上で,LLMの習熟度を評価するための新しい質問答えベンチマークであるEpiK-Evalを紹介する。 これらの欠点は、一般的な訓練目的の本質的な性質に起因していると論じる。 本研究の成果は,より堅牢で信頼性の高いLCMを開発する上での洞察を与えるものである。
  論文  参考訳（メタデータ） (2023-10-23T21:15:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。