論文の概要: Where Grokking Happens: Distributed Utility and Fourier Recoding Without a Module Switch
- arxiv url: http://arxiv.org/abs/2609.17571v1
- Date: Wed, 29 Jul 2026 08:28:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.570541
- Title: Where Grokking Happens: Distributed Utility and Fourier Recoding Without a Module Switch
- Title（参考訳）: Grokkingが起こる場所: モジュールスイッチなしで分散ユーティリティとフーリエリコーディング
- Abstract要約: ブロック0の注意バイアスが期待できる分散ユーティリティゲインが得られます。
我々は,グルーキングをモジュールスイッチではなく,既存の分散回路のスペクトル再符号化とみなす。
- 参考スコア（独自算出の注目度）: 0.16921396880325776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Where in a Transformer is the change from memorization to generalization functionally expressed? We introduce Transition Games--behavior-aligned exact activation games with paired non-generalizing controls--and find distributed utility gain with a prospective block-0 attention bias; selected degree-two modes account for 67--92% of its addition contrast across replacement games, and a disjoint exact path study confirms that block-1 MLP mediates more of their effect than all other tested downstream paths in 12/12 pairs. The sharper "MLP memorizes, attention generalizes" prediction instead reverses (-.331 bits/example at the memory anchor; 0/12 in the predicted direction), while routing onset, global rank collapse, and a prime-invariant architecture ridge also fail, identifying grokking here as spectral recoding of an existing distributed circuit rather than a module switch.
- Abstract（参考訳）: 記憶から一般化への変換は機能的に表されるのか?
我々は,2組の非一般化制御を用いたトランジションゲーム-ビヘイビア整合正確なアクティベーションゲームを導入し,ブロック-0のアテンションバイアスが期待できる分散ユーティリティゲインを見つけ,選択された2つのモードは,置換ゲーム間での加算コントラストの67-92%を占め,不整合正確なパススタディにより,ブロック-1 MLPが他の12/12ペアの下流パスよりも多くの効果を媒介することを確認した。
よりシャープな「MLPは記憶し、注意を一般化する」予測は代わりに逆(-.331bits/example at the memory anchor; 0/12 in the expected direction)となるが、ルーティングのオンセット、グローバルランクの崩壊、素数不変アーキテクチャのリッジも失敗し、ここでのグルーキングはモジュールスイッチではなく既存の分散回路のスペクトル再コーディングであると同定した。
関連論文リスト
- Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models [0.0]
本稿では,アライメント学習言語モデルにおけるポリシールーティング機構のローカライズを行う。
中間層アテンションゲートは検出された内容を読み出し、深いヘッドをトリガーし、信号が拒絶に向かって押し上げられる。
論文 参考訳（メタデータ） (2026-04-06T03:20:37Z) - Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation [0.0]
2つの制御された設定で強みのみの仮説をテストする。
実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。
実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
論文 参考訳（メタデータ） (2026-03-17T18:02:28Z) - What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。
各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文 参考訳（メタデータ） (2025-10-13T16:31:50Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z) - Transformers Don't In-Context Learn Least Squares Regression [5.648229654902264]
In-context Learning (ICL) は、大規模な事前学習型トランスフォーマーの強力な能力として登場した。
我々は、トランスフォーマーが推論時に学習をどのように実装するかを研究する。
ICLの行動形成におけるプレトレーニングコーパスの役割を強調した。
論文 参考訳（メタデータ） (2025-07-13T01:09:26Z) - MLP Can Be A Good Transformer Learner [73.01739251050076]
自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。
本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-08T16:40:15Z) - Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。
提案手法を拡張・結合する新しい手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-02-01T19:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。