論文の概要: Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale

• arxiv url: http://arxiv.org/abs/2603.06592v1
• Date: Wed, 04 Feb 2026 14:49:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.401538
• Title: Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale
• Title（参考訳）: データ生成プロセスにおける階層的潜在構造は、スケール全体にわたるメカニスティック現象を統一する
• Authors: Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych,
• Abstract要約: 我々は文脈自由文法を用いて、ウェブスケールテキストコーパスのための忠実で効率的なプロキシである合成コーパスを生成する。 設計したデータ生成プロセスにおいて,誘導ヘッド,関数ベクトル,ハイドラ効果という3つの力学現象の出現について検討する。 これらの現象の出現を説明する上で,データ生成プロセスの階層構造がX因子となることが示唆された。
• 参考スコア（独自算出の注目度）: 50.33952894976367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary studies have uncovered many puzzling phenomena in the neural information processing of Transformer-based language models. Building a robust, unified understanding of these phenomena requires disassembling a model within the scope of its training. While the intractable scale of pretraining corpora limits a bottom-up investigation in this direction, simplistic assumptions of the data generation process limit the expressivity and fail to explain complex patterns. In this work, we use probabilistic context-free grammars (PCFGs) to generate synthetic corpora that are faithful and computationally efficient proxies for web-scale text corpora. We investigate the emergence of three mechanistic phenomena: induction heads, function vectors, and the Hydra effect, under our designed data generation process, as well as in the checkpoints of real-world language models. Our findings suggest that hierarchical structures in the data generation process serve as the X-factor in explaining the emergence of these phenomena. We provide the theoretical underpinnings of the role played by hierarchy in the training dynamics of language models. In a nutshell, our work is the first of its kind to provide a unified explanation behind the emergence of seemingly unrelated mechanistic phenomena in LLMs, augmented with efficient synthetic tooling for future interpretability research.
• Abstract（参考訳）: 現代の研究では、トランスフォーマーベースの言語モデルの神経情報処理において、多くのファズリング現象が発見されている。 これらの現象の堅牢で統一された理解を構築するには、トレーニングの範囲内でモデルを分解する必要がある。 抽出可能な事前学習コーパスのスケールは、この方向のボトムアップ調査を制限するが、データ生成プロセスの単純化された仮定は、表現性を制限し、複雑なパターンを説明するのに失敗する。 本研究では、確率論的文脈自由文法(PCFG)を用いて、Webスケールテキストコーパスに対して忠実で計算効率の良い合成コーパスを生成する。 本稿では,本設計したデータ生成プロセスにおける誘導ヘッド,関数ベクトル,ハイドラ効果,および実世界の言語モデルのチェックポイントの3つの現象の出現について検討する。 これらの現象の出現を説明する上で,データ生成プロセスの階層構造がX因子となることが示唆された。 言語モデルの学習力学において,階層構造が果たす役割の理論的基盤を提供する。 簡単に言うと、我々の研究は、LLMにおける一見無関係な力学現象の出現の背後にある統一的な説明を提供する最初のものであり、将来の解釈可能性研究のための効率的な合成ツールによって強化されている。

関連論文リスト

• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• KPFlow: An Operator Perspective on Dynamic Collapse Under Gradient Descent Training of Recurrent Networks [9.512147747894026]
  勾配流を2つの作用素を含む積に分解する方法を示す。 それらの相互作用がGDの下での低次元潜在力学にどのように影響するかを示す。 マルチタスクトレーニングでは,各サブタスクの目的がどのように一致しているかを演算子を用いて測定できることが示される。
  論文  参考訳（メタデータ） (2025-07-08T20:33:15Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Beyond Model Interpretability: Socio-Structural Explanations in Machine Learning [5.159407277301709]
  我々は、機械学習のアウトプットを規範的に健全な領域で解釈するには、第3のタイプの説明に訴える必要があると論じている。 この説明型の関連性は、機械学習モデルが独立した実体ではなく、社会構造に埋め込まれて形成されているという事実によって動機付けられている。
  論文  参考訳（メタデータ） (2024-09-05T15:47:04Z)
• A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language [15.929767234646631]
  データ、サイズ、計算量の増加は、ニューラルネットワークによる特定の能力の急激な学習につながる可能性がある。 エマージェンス(emergence)とは、しばしば「エマージェンス(emergence)」と呼ばれる現象である。
  論文  参考訳（メタデータ） (2024-08-22T17:44:22Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。