論文の概要: A Review of Developmental Interpretability in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.15841v1
• Date: Tue, 19 Aug 2025 18:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.1103
• Title: A Review of Developmental Interpretability in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける発達的解釈可能性の検討
• Authors: Ihor Kendiukhov,
• Abstract要約: 本総説では,大規模言語モデルの発達的解釈可能性について概説する。 我々は、トレーニングされたモデルの静的なポストホック解析から、トレーニングプロセス自体の動的調査まで、フィールドの進化をグラフ化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This review synthesizes the nascent but critical field of developmental interpretability for Large Language Models. We chart the field's evolution from static, post-hoc analysis of trained models to a dynamic investigation of the training process itself. We begin by surveying the foundational methodologies, including representational probing, causal tracing, and circuit analysis, that enable researchers to deconstruct the learning process. The core of this review examines the developmental arc of LLM capabilities, detailing key findings on the formation and composition of computational circuits, the biphasic nature of knowledge acquisition, the transient dynamics of learning strategies like in-context learning, and the phenomenon of emergent abilities as phase transitions in training. We explore illuminating parallels with human cognitive and linguistic development, which provide valuable conceptual frameworks for understanding LLM learning. Finally, we argue that this developmental perspective is not merely an academic exercise but a cornerstone of proactive AI safety, offering a pathway to predict, monitor, and align the processes by which models acquire their capabilities. We conclude by outlining the grand challenges facing the field, such as scalability and automation, and propose a research agenda for building more transparent, reliable, and beneficial AI systems.
• Abstract（参考訳）: 本総説では,大規模言語モデルの発達的解釈可能性について概説する。 我々は、トレーニングされたモデルの静的なポストホック解析から、トレーニングプロセス自体の動的調査まで、フィールドの進化をグラフ化する。 まず,表現的探索,因果的追跡,回路解析などの基礎的方法論を調査し,研究者が学習過程を分解できるようにする。 本総説では,LLM能力の発達弧,計算回路の形成と構成,知識獲得の両面的な性質,文脈内学習のような学習戦略の過渡的ダイナミクス,学習における位相遷移としての創発的能力の現象について概説する。 我々は,LLM学習を理解する上で有用な概念的枠組みを提供する,人間の認知・言語発達と平行点の照らし方について検討する。 最後に、この発達的視点は単なる学術的なエクササイズではなく、積極的にAIの安全性の基盤であり、モデルが能力を獲得するプロセスを予測、監視、調整するための経路を提供する、と論じます。 私たちは、スケーラビリティや自動化など、この分野で直面する大きな課題の概要をまとめて、より透明性があり信頼性があり、有益なAIシステムを構築するための研究課題を提案します。

関連論文リスト

• Towards Agentic Intelligence for Materials Science [73.4576385477731]
  この調査は、コーパスキュレーションからプレトレーニングから、シミュレーションと実験プラットフォームに面した目標条件付きエージェントまで、ユニークなパイプライン中心の視点を推し進める。 コミュニティをブリッジし、参照の共有フレームを確立するために、まず、AIと材料科学をまたいだ用語、評価、ワークフローの段階を整列する統合レンズを提示する。
  論文  参考訳（メタデータ） (2026-01-29T23:48:43Z)
• Mechanistic Interpretability for Large Language Model Alignment: Progress, Challenges, and Future Directions [16.821238326410324]
  大規模言語モデル(LLM)は様々なタスクにまたがる優れた機能を実現しているが、内部決定プロセスはほとんど不透明である。 機械的解釈可能性(Mechanistic Interpretability)は、これらのモデルの理解と整合性のための重要な研究の方向性として現れている。 我々は、人間のフィードバックからの強化学習、立憲AI、スケーラブルな監視など、解釈可能性に関する洞察がどのようにアライメント戦略に影響を与えたかを分析する。
  論文  参考訳（メタデータ） (2026-01-21T11:43:57Z)
• Simulating Students with Large Language Models: A Review of Architecture, Mechanisms, and Role Modelling in Education with Generative AI [0.8703455323398351]
  大規模言語モデル(LLM)を用いた教育環境における学生の行動のシミュレートに関する研究のレビュー LLMをベースとしたエージェントが学習者の古型をエミュレートし、指導的な入力に反応し、マルチエージェントの教室シナリオ内で相互作用する能力に関する現在の証拠を示す。 本稿では,カリキュラム開発,教育評価,教員養成におけるシステムの役割について検討する。
  論文  参考訳（メタデータ） (2025-11-08T17:23:13Z)
• From Perception to Cognition: A Survey of Vision-Language Interactive Reasoning in Multimodal Large Language Models [66.36007274540113]
  MLLM(Multimodal Large Language Models)は、物理的世界に対する深い人間的な理解と相互作用を達成するための試みである。 情報取得(知覚)や推論(認知)を行う際、しばしば浅く不整合な統合を示す。 この調査では、新しい統合分析フレームワーク「知覚から認知へ」を紹介した。
  論文  参考訳（メタデータ） (2025-09-29T18:25:40Z)
• Embryology of a Language Model [1.1874560263468232]
  本研究では, モデルの構造的発達を可視化するために, UMAPを感受性マトリックスに適用する胚学的アプローチを提案する。 我々の可視化は、誘導回路のような既知の特徴の形成と、以前に未知の構造を発見したことのグラフを、明確なボディプランの出現を示す。
  論文  参考訳（メタデータ） (2025-08-01T05:39:41Z)
• Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities [62.05713042908654]
  本稿では,逆強化学習(IRL)のレンズによる大規模言語モデル(LLM)のアライメントの進歩について概観する。 我々は、人間のデータからニューラル報酬モデルを構築する必要性を強調し、このパラダイムシフトの形式的および実践的意味について議論する。
  論文  参考訳（メタデータ） (2025-07-17T14:22:24Z)
• Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
  大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。 この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
  論文  参考訳（メタデータ） (2025-05-16T08:50:42Z)
• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• Large Language Model Enhanced Knowledge Representation Learning: A Survey [15.602891714371342]
  知識表現学習(KRL)は、知識グラフから下流タスクへの記号的知識の適用を可能にするために重要である。 この研究は、これらの進化する領域における新たな研究方向を同時に特定しながら、下流のタスクの広範な概要を提供する。
  論文  参考訳（メタデータ） (2024-07-01T03:37:35Z)
• A critical review of methods and challenges in large language models [6.850038413666062]
  大規模言語モデル(LLM)の詳細な分析について リカレントニューラルネットワーク(RNN)からトランスフォーマーモデルへの進化を検査する。 コンテキスト内学習や様々な微調整アプローチといった最先端のテクニックを記述します。
  論文  参考訳（メタデータ） (2024-04-18T08:01:20Z)
• Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review [1.3812010983144802]
  本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。 我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。 我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-29T12:43:43Z)
• Unleashing the potential of prompt engineering for large language models [1.6006550105523192]
  大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する 自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。 AIセキュリティの側面、特に迅速なエンジニアリングの脆弱性を悪用する敵攻撃について論じる。
  論文  参考訳（メタデータ） (2023-10-23T09:15:18Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。