論文の概要: Tracking States or Tracking Cosets? An Algebraic Account of Learned State Tracking

• arxiv url: http://arxiv.org/abs/2609.29951v1
• Date: Thu, 24 Sep 2026 15:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.042601
• Title: Tracking States or Tracking Cosets? An Algebraic Account of Learned State Tracking
• Title（参考訳）: 追跡状態と追跡コセット : 学習状態追跡の代数的考察
• Abstract要約: グループ要素の実行生成物を予測するためにトレーニングされたニューラルネットワークについて検討する。 我々はTransformer内の商解を同定し、モデルがそのメンバー間でほぼ均一に予測しながら商クラスを復元する。 我々の結果は、モデルが追跡することを学ぶサブグループコセットを通じて、部分的精度、学習段階、および内部計算を結びつける。
• 参考スコア（独自算出の注目度）: 7.521056859655542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State tracking requires composing a sequence of updates, but accuracy alone does not reveal what a model has learned. We study neural networks trained to predict the running product of group elements. We identify quotient solutions in Transformers, where models recover the quotient class while predicting nearly uniformly among its members. The reciprocal of class size predicts partial accuracy without a fitted parameter, extending parity-based accounts to non-parity quotients. Our baseline Transformers' predictions change little under prefix reordering beyond the exact-tracking frontier. We prove that, for finite groups under uniform i.i.d. full-group inputs, optimal order-blind exact accuracy converges to the reciprocal of abelianization class size as prefix length grows, consistent with the observed abelianization plateaus. Sequential updates permit more: any partition into right cosets of a subgroup, normal or not, survives sequential updates. In our census of standard Transformers, every recovered coset partition comes from a normal subgroup, whereas parameter-matched recurrent networks pass through both normal and non-normal right-coset stages during training. On $A_5$, we identify low-dimensional subspaces of the recurrent state that encode non-normal cosets. In the three-dimensional cases, coset mean vectors form approximate dodecahedra, and swapping the state components in these subspaces transfers the donor's coset state through a shared input suffix. Our results connect partial accuracy, learning stages, and internal computation through the subgroup cosets that models learn to track.
• Abstract（参考訳）: 状態トラッキングには一連の更新が必要ですが、正確性だけでは、モデルが何を学んだのかを明らかにしません。 グループ要素の実行生成物を予測するためにトレーニングされたニューラルネットワークについて検討する。 我々はTransformer内の商解を同定し、モデルがそのメンバー間でほぼ均一に予測しながら商クラスを復元する。 クラスサイズの相反は、パラメータを組み込まずに部分的精度を予測し、パリティベースのアカウントを非パリティ商に拡張する。 我々のベースライントランスフォーマーの予測は、正確に追跡するフロンティアを越えて、プレフィックスの下でほとんど変化しない。 一様全群入力の有限群に対して、最適オーダーブレンド精度は、プレフィックス長が増加するにつれてアーベル化クラスサイズの逆数に収束し、観測されたアーベル化プラトーと一致することを証明している。 サブグループの右コセット(通常かどうかに関わらず)へのパーティションは、シーケンシャルアップデートを生き残る。 標準的なトランスフォーマーの国勢調査では、回復したすべてのコセット分割は通常のサブグループから得られるが、パラメータマッチングされたリカレントネットワークはトレーニング中に正常および非正常な右コセットの段階を通過する。 A_5$では、非正規コセットを符号化する再帰状態の低次元部分空間を同定する。 三次元の場合、コセット平均ベクトルは近似ドデカヘドラを形成し、これらの部分空間の状態成分を交換すると、共有入力接尾辞を通してドナーのコセット状態が転送される。 我々の結果は、モデルが追跡することを学ぶサブグループコセットを通じて、部分的精度、学習段階、および内部計算を結びつける。

関連論文リスト

• ModularPhaseNet: Finite-Cyclic Phase Geometry for Computable Semantic Hierarchy, Direction, and Context Consistency in Standard Transformers [0.0]
  本稿では,QuantumPhaseNetで導入された連続複素位相幾何学の離散化を提案する。 量子ハードウェア、複素数値行列乗算、離散対数計算は不要である。
  論文  参考訳（メタデータ） (2026-09-05T10:02:23Z)
• Geometric and Behavioral Stratification in Transformer Residual Streams [0.0]
  訓練されたトランスモデルは特権ベースを発達させ、残りの残流と統計が異なる座標軸を発達させる。 モデルが現在予測しているトークンの予測方向,非埋め込み方向について検討し,コンテンツ定義の特権アンカーとして機能することを確認した。
  論文  参考訳（メタデータ） (2026-08-12T17:42:20Z)
• Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models [49.46165710676499]
  最初のアライメント段階から意味収束が観察される。 我々は収束を明らかにし増幅することができるが、SFTデータでは導入されないことを発見した。 その結果,LMトレーニングの根底にある目的から,意味収束が自然に生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-11T20:47:06Z)
• A Held-Out Transition-Pair Falsifier for Long-Horizon Non-Abelian State Tracking [0.5076419064097734]
  有限非アベリア群追跡のためのホールドアウト遷移ペアファルシファイアを導入する。 制御された$S_3 times S_3$ベンチマークでは、長さ8列のみに基づいてトレーニングされた投影されたリカレント状態モデルがエラーのない最終状態予測を生成する。
  論文  参考訳（メタデータ） (2026-06-05T13:26:41Z)
• Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
  簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。 我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
  論文  参考訳（メタデータ） (2026-03-16T21:17:01Z)
• Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
  楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。 本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。 $|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
  論文  参考訳（メタデータ） (2025-12-22T10:03:51Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。