論文の概要: The Emergence and Sparsification of a Syntactic Circuit

• arxiv url: http://arxiv.org/abs/2610.33299v1
• Date: Fri, 23 Oct 2026 21:10:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.295713
• Title: The Emergence and Sparsification of a Syntactic Circuit
• Title（参考訳）: シンタクティック回路の創発とスパーシフィケーション
• Abstract要約: トレーニング中,pythia-1bとpythia-410mの10種に対して,被検体数一致のための回路を追跡した。 主観的バーブ合意は早期に学習され、最初は神経細胞の拡散収集によって処理される。
• 参考スコア（独自算出の注目度）: 25.462983704436752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To understand the emergence of grammatical behavior in language models, we track circuits for subject-verb number agreement in pythia-1b and ten seeds of pythia-410m across training. We find that subject-verb agreement is learned early, and is initially handled by a diffuse collection of neurons. However, after agreement behavior has stabilized, the mechanisms responsible for it continue to reorganize. The attention heads which mediate agreement often shift during training: in the case of pythia-1b, behavior is controlled by two heads early in training but by a third (different) head later. Furthermore, the circuit shrinks over training, with pythia-1b's final circuit being strikingly sparse. We take these results to be informative about how linguistic knowledge emerges and is represented in a language model.
• Abstract（参考訳）: 言語モデルにおける文法的行動の出現を理解するため, ピチア1bとピチア410mの10種の種子において, 主語・動詞数一致のための回路を学習中に追跡した。 主観的バーブ合意は早期に学習され、最初は神経細胞の拡散収集によって処理される。 しかし、合意行動が安定した後も、そのメカニズムは再編成され続けている。 トレーニング中に合意を仲介するアテンションヘッドは、ピチア1bの場合、トレーニングの早い段階で2つのヘッドによって制御されるが、後になって3番目の(異なる)ヘッドによって制御される。 さらに、この回路はトレーニング後に縮小し、ピチア-1bの最終回路は著しくスパースである。 これらの結果は、言語的知識がどのように出現し、言語モデルで表現されるかについて、有益なものと考えられる。

関連論文リスト

• Coherence in the brain unfolds across separable temporal regimes [1.3874648807526748]
  言語におけるコヒーレンスには、脳が競合する2つの時間的要求を満たす必要がある。 我々は、コヒーレンスを、文脈統合の遅い解離可能なニューラルレシエーションと、イベント駆動の迅速な再構成によって実現していることを示す。
  論文  参考訳（メタデータ） (2025-12-23T16:16:42Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Training Dynamics of Contextual N-Grams in Language Models [1.4254279830438588]
  我々は,ドイツ語のテキスト上で活性化するニューロンが,より広い文脈n-gram回路内に存在することを示す。 トレーニングを通してこの回路の形成について検討し、これが第2次回路と呼ばれるものの一例であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T21:32:51Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。