論文の概要: Mapping the Solution-Set Structure of Grokking on Latin Squares

• arxiv url: http://arxiv.org/abs/2610.35036v1
• Date: Mon, 26 Oct 2026 08:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.799364
• Title: Mapping the Solution-Set Structure of Grokking on Latin Squares
• Title（参考訳）: ラテン正方形上のグロキングの解集合構造をマッピングする
• Abstract要約: 部分的な観測から最小ノルムの終点を一般化するタスクについて検討する。 具体的には、ペアワイズ入力タスクをK_q,q$のエッジカラー化としてモデル化し、ラテンカラー化を構造化されたファミリーとして扱います。
• 参考スコア（独自算出の注目度）: 26.58113722010256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grokking is a delayed transition from memorisation to generalisation. A network first fits observed examples while remaining near chance on held-out inputs, then generalises abruptly. Prior work has focused mainly on this delay, finding that the network's main loss becomes weight decay after the fitting phase. We name the solution to this optimization problem as the minimum-norm endpoint, and study which tasks make all minimum-norm endpoints generalise from partial observations. Specifically, we model pairwise input tasks as edge colourings of $K_{q,q}$, with Latin colourings as our structured family, and classify each observed instance as all-good, mixed, or no-good by its endpoint set. Furthermore, we prove two contrasting results: (1) Finite-abelian-group families are asymptotically all-good from partial observations; (2) Under a uniform random Latin square, all-good tasks become asymptotically rare for observation-based learners, leaving mixed or no-good behaviour. Moreover, experiments show that relabellings of addition generalise despite their dense polynomial representations. Finally, on tasks of composite order, finite-training results suggest that predictors learn a coarse part of the output before the full label.
• Abstract（参考訳）: グローキングは記憶から一般化への遅れた移行である。 ネットワークは、まず観測された例に適合し、保持された入力にほぼ近い確率で留まり、次に突然一般化する。 以前の研究は、主にこの遅延に焦点を合わせており、ネットワークの主な損失は、フィッティングフェーズ後に体重が減少することを発見した。 この最適化問題の解を最小ノルムの終点とみなし、どのタスクが最小ノルムの終点を部分的な観測から一般化するかを研究する。 具体的には、ペアワイズ入力タスクをK_{q,q}$のエッジカラー化としてモデル化し、ラテンカラー化を構造化されたファミリーとして、各観測されたインスタンスをエンドポイントセットによって全善、混合、または非善に分類する。 さらに,(1)有限アベル群族は部分的な観察から漸近的にすべて良好であること,(2)一様無作為なラテン正方形の下では,全能な課題は観察に基づく学習者にとって漸近的に稀であり,混合的あるいは非良い行動を残していることを証明した。 さらに、その密度の高い多項式表現にも拘わらず、加法の再来が一般化されることが実験によって示されている。 最後に、合成順序のタスクにおいて、有限学習の結果は、予測者が完全なラベルの前に出力の粗い部分を学ぶことを示唆している。

関連論文リスト

• When is early stopping beneficial under label noise? A phase diagram for kernel gradient flow [13.408904884821908]
  ランダムラベルが正しく分類された後も、より大きく深い畳み込みネットワークにおいて早期停止の必要性は消滅する。 線形カーネルコンポーネントと高次コンポーネントのバランスによって制御される,鋭い高次元学習曲線と位相図を導出する。
  論文  参考訳（メタデータ） (2026-10-24T18:36:20Z)
• Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms [8.636513507553504]
  加算合成凸最適化問題を解くための2つの古典的アルゴリズムを解析する。 我々は、最後の反復収束率を得るために、一般的だが厳密な有界分散仮定に焦点を当てる。 本結果は,複数タスクおよびフェデレーション学習において発生するグラフ誘導正規化器に直接適用し,協調グラフのエッジ上の和として正規化器を分解する。
  論文  参考訳（メタデータ） (2026-02-05T09:50:06Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Generalization Bounds for Set-to-Set Matching with Negative Sampling [2.3859169601259347]
  近年,セット・ツー・セット・マッチング(set-to-set matching)という2つの要素のマッチングの問題に大きな注目を集めている。 本稿では,そのタスクにおけるモデルの振る舞いを明らかにするために,セット・ツー・セットマッチングにおける一般化誤差解析を実行することを目的とする。
  論文  参考訳（メタデータ） (2023-02-25T05:05:59Z)
• On graph-based reentrancy-free semantic parsing [5.228711636020665]
  本論文では,2つの課題を解消する意味解析のためのグラフベースの手法を提案する。 MAP推論と潜在タグアンカリング(弱教師付き学習が要求される)の両方がNPハード問題であることを示す。 本稿では,制約平滑化と条件勾配に基づく2つの最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-15T14:14:09Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Deep Probabilistic Graph Matching [72.6690550634166]
  本稿では,マッチング制約を伴わずに,元のQAPに適合する深層学習ベースのグラフマッチングフレームワークを提案する。 提案手法は,一般的な3つのベンチマーク(Pascal VOC,Wilow Object,SPair-71k)で評価され,すべてのベンチマークにおいて過去の最先端よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-05T13:37:27Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。