論文の概要: Dissecting Geometric Constraints in Grokking: Interaction-Dependent Acceleration in Modular Arithmetic

• arxiv url: http://arxiv.org/abs/2611.03156v1
• Date: Mon, 02 Nov 2026 14:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:59:12.399251
• Title: Dissecting Geometric Constraints in Grokking: Interaction-Dependent Acceleration in Modular Arithmetic
• Title（参考訳）: グルーキングにおける幾何学的制約の解離:モジュラー算術における相互作用依存的加速度
• Abstract要約: 球状変圧器の構成は、いくつかのモデル特性を同時に修正することで、グルーキングを加速することができる。 本研究は, 960 のモジュラー・アジュメティクス・ランを用いた Sphere+Fourier 構成におけるこれらの修正の寄与について検討した。
• 参考スコア（独自算出の注目度）: 3.431066454813307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spherical transformer configurations can accelerate grokking through simultaneous modifications of several model properties. The present study investigated the contributions of these modifications in the published Sphere+Fourier configuration using 960 controlled modular-arithmetic runs. A complete factorial analysis varied residual projection, readout weight normalization, logit scale, and weight decay. Across four matched settings with weight decay, the successful-run mean crossing times without projection were 8-37 times those observed with projection. However, residual projection was insufficient to induce grokking without additional interventions. Various other unprojected configurations also generalized. Since projection altered the magnitude entering the readout, these comparisons could not separate geometry from output scale. A separate 100-run fixed-horizon study demonstrated faster first crossing for the complete configuration across five train/test partitions. Faster crossing did not necessarily correspond to greater persistence over extended training. Control experiments demonstrated rapid grokking without Fourier initialization. Task and depth sweeps also identified conditions in which the configuration failed to reach the criterion by 50K epochs. Accordingly, the observed acceleration depended on interactions among the components and did not extend uniformly across the tested tasks or depths.
• Abstract（参考訳）: 球状変圧器の構成は、いくつかのモデル特性を同時に修正することで、グルーキングを加速することができる。 本研究は, 960 のモジュラー・アダルメティックランを用いた Sphere+Fourier 構成におけるこれらの修正の寄与について検討した。 完全因子分析では, 残留投射, 読み出し重量正規化, ロジットスケール, 重量崩壊が変化した。 その結果, 投射のない平均交差時間は投射で観測された平均8～37倍であった。 しかし、余剰投射は追加の介入を伴わずにグラッキングを誘発するには不十分であった。 他の様々な未計画の構成も一般化された。 射影が読み出しに入る大きさを変えたため、これらの比較は出力スケールと幾何学を区別することができなかった。 異なる100ランの固定水平試験では、5つの列車/テスト分割を横断する完全な構成において、最初の交差速度が速くなった。 速度の速い交差は、拡張トレーニングよりも大きな永続性に対応していたとは限らない。 制御実験はフーリエ初期化なしで急速グルーキングを実証した。 タスクとディープ・スイープは、設定が50Kのエポックで基準に達しなかった条件も特定した。 したがって、観測された加速度は、コンポーネント間の相互作用に依存し、テストされたタスクや深さを均一に拡張しなかった。

関連論文リスト

• JtT: Rethinking Point Trajectory Diffusion for Diverse and Rigid Motion from an Image [67.09340259579761]
  単体画像からの剛体運動の予測について検討した。 我々のモデルであるJtTは座標空間で直接動作する単純な拡散変換器である。 モデルランキングは,モデルのサイズ,メートル法,停止時間にどのように依存するかを示し,より厳密なチェックポイント平均評価プロトコルを採用する。
  論文  参考訳（メタデータ） (2026-10-12T11:13:37Z)
• From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
  テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。 本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
  論文  参考訳（メタデータ） (2026-09-06T05:43:22Z)
• VGGT-Align: Bridging Local Reconstruction and Global Consistency for Long-Sequence 3D Reconstruction [8.983872448985627]
  本稿では,シーンを駆動するなどの構造的環境において,時間的セグメント間での幾何量の変化は本質的に不変である,という重要な洞察に基づいて構築されたスケール一貫性向上フレームワークを提案する。 SGIA(Scene Geometric Invariant Anchoring)を提案する。 複数のロングシーケンスベンチマークの実験では、最先端の性能を示し、絶対軌道誤差を最大32%削減し、軌道安定性と復元品質を大きく向上させた。
  論文  参考訳（メタデータ） (2026-08-15T14:32:55Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
  グルーキングは単一の結果ではなく、マルチシードレートとして研究する。 この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
  論文  参考訳（メタデータ） (2026-07-06T13:58:31Z)
• GATS: Gaussian Aware Temporal Scaling Transformer for Invariant 4D Spatio-Temporal Point Cloud Representation [4.686110187936828]
  本稿では,分散的不整合と時間的整合性の両方を明確に解消する,新しい二重不変フレームワークである textbfGaussian Aware Temporal Scaling (GATS) を提案する。 MSR-Action3D(textbf+6.62%の精度)、NTU RGBD(textbf+1.4%の精度)、Synthia4D(textbf+1.8% mIoU)のベンチマーク実験は、大きな性能向上を示した。
  論文  参考訳（メタデータ） (2026-03-17T06:18:27Z)
• The Geometric Inductive Bias of Grokking: Bypassing Phase Transitions via Architectural Topology [0.0]
  巡回加法(Zp)を訓練した変圧器のグルーキング-遅れ一般化に関する研究 標準変圧器における2つの独立した構造因子:表現の大きさとデータ依存型アテンションルーティングを同定する。
  論文  参考訳（メタデータ） (2026-03-05T14:41:01Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates [67.19481956584465]
  飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。 結果がタイトであることを示し、数値実験で重要な結果を示しています。
  論文  参考訳（メタデータ） (2021-03-03T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。