論文の概要: How Syntax Specialization Emerges in Language Models

• arxiv url: http://arxiv.org/abs/2505.19548v1
• Date: Mon, 26 May 2025 06:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.202867
• Title: How Syntax Specialization Emerges in Language Models
• Title（参考訳）: 言語モデルにおける構文特化の創出
• Authors: Xufeng Duan, Zhaoqian Yao, Yunhao Zhang, Shaonan Wang, Zhenguang G. Cai,
• Abstract要約: 大規模言語モデル(LLM)は驚くべき内部特殊化を発達させる。 個々のニューロン、アテンションヘッド、回路は、選択的に構文構造に敏感になる。 この専門化が訓練中にどのように出現し、その発展にどのような影響を及ぼすかは、いまだに不明である。
• 参考スコア（独自算出の注目度）: 9.177796238194984
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have been found to develop surprising internal specializations: Individual neurons, attention heads, and circuits become selectively sensitive to syntactic structure, reflecting patterns observed in the human brain. While this specialization is well-documented, how it emerges during training and what influences its development remains largely unknown. In this work, we tap into the black box of specialization by tracking its formation over time. By quantifying internal syntactic consistency across minimal pairs from various syntactic phenomena, we identify a clear developmental trajectory: Syntactic sensitivity emerges gradually, concentrates in specific layers, and exhibits a 'critical period' of rapid internal specialization. This process is consistent across architectures and initialization parameters (e.g., random seeds), and is influenced by model scale and training data. We therefore reveal not only where syntax arises in LLMs but also how some models internalize it during training. To support future research, we will release the code, models, and training checkpoints upon acceptance.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、個々のニューロン、注意頭、回路が、人間の脳で観察されるパターンを反映して、構文構造に選択的に敏感になるという驚くべき内部特化を発達させることが発見されている。 この専門化は十分に文書化されているが、訓練中にどのように現われるか、その発展にどのような影響を及ぼすかは、いまだに不明である。 本研究では、時間とともにその形成を追跡することによって、特殊化のブラックボックスをタップする。 様々な統語的現象から最小対間の内部の統語的一貫性を定量化することにより、明確な発達軌道を同定する: 統語的感受性は徐々に出現し、特定の層に集中し、急速な内的特殊化の「臨界期間」を示す。 このプロセスはアーキテクチャや初期化パラメータ(例えばランダムシード)間で一貫性があり、モデルスケールとトレーニングデータの影響を受けます。 したがって、LLMの構文がどこで発生するのかだけでなく、トレーニング中にどのように内部化されるのかを明らかにする。 将来の研究をサポートするため、受け入れに応じてコード、モデル、トレーニングチェックポイントをリリースします。

関連論文リスト

• The Birth of Knowledge: Emergent Features across Time, Space, and Scale in Large Language Models [3.541570601342306]
  本稿では,大言語モデル(LLM)における解釈可能な分類的特徴の出現について検討する。 機械的解釈にスパースオートエンコーダを用いることで、ニューラルアクティベーション内で特定の意味概念がいつどこで現れるかを特定する。
  論文  参考訳（メタデータ） (2025-05-26T02:59:54Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [49.09746599881631]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 本研究は,多言語学習モデルとの比較分析により同定された少数の臨界ニューロンの編集が,混乱を著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Emergent Specialization: Rare Token Neurons in Language Models [5.946977198458224]
  大きな言語モデルは、特殊なドメインにおいて重要であるにもかかわらず、希少なトークンの表現と生成に苦労する。 本研究では,レアトークンニューロンと呼ばれる,言語モデルの希少トークン予測に極めて強い影響を与えるニューロン構造を同定する。
  論文  参考訳（メタデータ） (2025-05-19T08:05:13Z)
• Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
  本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。 その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。 これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
  論文  参考訳（メタデータ） (2024-08-06T09:27:41Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition [19.562218963941227]
  我々は、特定のタスクを扱う専門領域を含む人間の視覚システムからインスピレーションを得た。 我々は、非常に類似したサンプルのサブセットに対してのみ活性化される特別なニューロンからなる新しい動的動的時空間サブセット(DSTS)を設計する。 トレーニング中のモデルの動的決定を最適化し,DSTSモジュールの性能を向上させるために,UpstreamDownstream Learningアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-09-03T13:59:49Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。