論文の概要: A Review of Developmental Interpretability in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.15841v1
• Date: Tue, 19 Aug 2025 18:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.1103
• Title: A Review of Developmental Interpretability in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける発達的解釈可能性の検討
• Authors: Ihor Kendiukhov,
• Abstract要約: 本総説では,大規模言語モデルの発達的解釈可能性について概説する。 我々は、トレーニングされたモデルの静的なポストホック解析から、トレーニングプロセス自体の動的調査まで、フィールドの進化をグラフ化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This review synthesizes the nascent but critical field of developmental interpretability for Large Language Models. We chart the field's evolution from static, post-hoc analysis of trained models to a dynamic investigation of the training process itself. We begin by surveying the foundational methodologies, including representational probing, causal tracing, and circuit analysis, that enable researchers to deconstruct the learning process. The core of this review examines the developmental arc of LLM capabilities, detailing key findings on the formation and composition of computational circuits, the biphasic nature of knowledge acquisition, the transient dynamics of learning strategies like in-context learning, and the phenomenon of emergent abilities as phase transitions in training. We explore illuminating parallels with human cognitive and linguistic development, which provide valuable conceptual frameworks for understanding LLM learning. Finally, we argue that this developmental perspective is not merely an academic exercise but a cornerstone of proactive AI safety, offering a pathway to predict, monitor, and align the processes by which models acquire their capabilities. We conclude by outlining the grand challenges facing the field, such as scalability and automation, and propose a research agenda for building more transparent, reliable, and beneficial AI systems.
• Abstract（参考訳）: 本総説では,大規模言語モデルの発達的解釈可能性について概説する。 我々は、トレーニングされたモデルの静的なポストホック解析から、トレーニングプロセス自体の動的調査まで、フィールドの進化をグラフ化する。 まず,表現的探索,因果的追跡,回路解析などの基礎的方法論を調査し,研究者が学習過程を分解できるようにする。 本総説では,LLM能力の発達弧,計算回路の形成と構成,知識獲得の両面的な性質,文脈内学習のような学習戦略の過渡的ダイナミクス,学習における位相遷移としての創発的能力の現象について概説する。 我々は,LLM学習を理解する上で有用な概念的枠組みを提供する,人間の認知・言語発達と平行点の照らし方について検討する。 最後に、この発達的視点は単なる学術的なエクササイズではなく、積極的にAIの安全性の基盤であり、モデルが能力を獲得するプロセスを予測、監視、調整するための経路を提供する、と論じます。 私たちは、スケーラビリティや自動化など、この分野で直面する大きな課題の概要をまとめて、より透明性があり信頼性があり、有益なAIシステムを構築するための研究課題を提案します。

関連論文リスト

• Embryology of a Language Model [1.1874560263468232]
  本研究では, モデルの構造的発達を可視化するために, UMAPを感受性マトリックスに適用する胚学的アプローチを提案する。 我々の可視化は、誘導回路のような既知の特徴の形成と、以前に未知の構造を発見したことのグラフを、明確なボディプランの出現を示す。
  論文  参考訳（メタデータ） (2025-08-01T05:39:41Z)
• Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
  本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。 我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
  論文  参考訳（メタデータ） (2025-07-17T14:22:24Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Large Language Model Enhanced Knowledge Representation Learning: A Survey [15.602891714371342]
  知識表現学習(KRL)は、知識グラフから下流タスクへの記号的知識の適用を可能にするために重要である。 この研究は、これらの進化する領域における新たな研究方向を同時に特定しながら、下流のタスクの広範な概要を提供する。
  論文  参考訳（メタデータ） (2024-07-01T03:37:35Z)
• Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review [1.3812010983144802]
  本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。 我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。 我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-29T12:43:43Z)
• Unleashing the potential of prompt engineering for large language models [1.6006550105523192]
  大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する 自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。 AIセキュリティの側面、特に迅速なエンジニアリングの脆弱性を悪用する敵攻撃について論じる。
  論文  参考訳（メタデータ） (2023-10-23T09:15:18Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。