論文の概要: Intrinsic Task Symmetry Drives Generalization in Algorithmic Tasks
- arxiv url: http://arxiv.org/abs/2603.01968v1
- Date: Mon, 02 Mar 2026 15:19:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.935691
- Title: Intrinsic Task Symmetry Drives Generalization in Algorithmic Tasks
- Title（参考訳）: 内在的タスク対称性はアルゴリズム的タスクの一般化を駆動する
- Authors: Hyeonbin Hwang, Yeachan Park,
- Abstract要約: グラッキングの基礎となる3段階の動的トレーニングを一貫した3段階に分類する。
我々は、対称性獲得フェーズ中に一般化が現れることを示す。
一般化の開始を予想する対称性に基づく診断を導入し,それを加速するための戦略を提案する。
- 参考スコア（独自算出の注目度）: 4.075225553131796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grokking, the sudden transition from memorization to generalization, is characterized by the emergence of low-dimensional representations, yet the mechanism underlying this organization remains elusive. We propose that intrinsic task symmetries primarily drive grokking and shape the geometry of the model's representation space. We identify a consistent three-stage training dynamic underlying grokking: (i) memorization, (ii) symmetry acquisition, and (iii) geometric organization. We show that generalization emerges during the symmetry acquisition phase, after which representations reorganize into a structured, task-aligned geometry. We validate this symmetry-driven account across diverse algorithmic domains, including algebraic, structural, and relational reasoning tasks. Building on these findings, we introduce a symmetry-based diagnostic that anticipates the onset of generalization and propose strategies to accelerate it. Together, our results establish intrinsic symmetry as the key factor enabling neural networks to move beyond memorization and achieve robust algorithmic reasoning.
- Abstract（参考訳）: 暗記から一般化への突然の移行であるグロキングは、低次元表現の出現によって特徴づけられるが、この組織の基礎となるメカニズムはいまだ解明されていない。
内在的タスク対称性は、主に、モデルの表現空間の幾何をグラクキングし形作る。
我々は、一貫した3段階のトレーニングのダイナミックな基礎を同定する。
(i)暗記
(二)対称性取得、及び
(三)幾何学的組織。
一般化は対称性獲得フェーズ中に出現し、その後、表現が構造化されたタスク整列幾何に再編成されることを示す。
我々は、代数的、構造的、関係的推論タスクを含む様々なアルゴリズム領域において、この対称性駆動のアカウントを検証する。
これらの知見に基づいて,一般化の開始を予測した対称性に基づく診断を導入し,それを加速するための戦略を提案する。
この結果から,ニューラルネットワークが記憶を超越し,頑健なアルゴリズム推論を実現するための鍵要因として,固有対称性が確立された。
関連論文リスト
- Developmental Symmetry-Loss: A Free-Energy Perspective on Brain-Inspired Invariance Learning [0.0]
我々は脳に触発されたアルゴリズム原理であるSymmetry-Lossを提案する。
表現学習において,Symmetry-Lossがフリーエネルギライクな目的をどう運用するかを示す。
その結果、脳における発達学習と、人工システムにおける原則的表現学習を結びつける一般的な計算機構が得られた。
論文 参考訳（メタデータ） (2025-12-04T22:12:15Z) - Twirlator: A Pipeline for Analyzing Subgroup Symmetry Effects in Quantum Machine Learning Ansatzes [3.54873963145126]
対称性は、幾何学的深層学習と幾何学的および等変量子機械学習におけるパフォーマンス向上の重要な要因である。
対称性化は有望な手法のように見えるが、量子機械学習では、追加ゲートや表現率の低下など、現実的なオーバーヘッドはよく理解されていない。
我々は,学習課題に現れる対称性に関して,量子機械学習の様々な特性を計測する自動パイプラインを開発する。
論文 参考訳（メタデータ） (2025-11-06T10:29:24Z) - Axis-level Symmetry Detection with Group-Equivariant Representation [48.813587457507786]
最近の熱マップに基づくアプローチは対称性軸のポテンシャル領域をローカライズすることができるが、個々の軸を特定する精度に欠けることが多い。
本稿では,2つの最も一般的な対称性-反射と回転の軸レベル検出のための新しい枠組みを提案する。
提案手法は最先端の性能を達成し,既存手法より優れている。
論文 参考訳（メタデータ） (2025-08-14T15:26:53Z) - On two-dimensional tensor network group symmetries [0.0]
4サイクルの指数を持つ有限群の2次元テンソルネットワーク表現を導入する。
これらの異常対称性がテンソルネットワーク基底状態に作用するときに現れる(2+1)D相を特徴付ける。
論文 参考訳（メタデータ） (2025-07-22T11:28:59Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳（メタデータ） (2025-06-28T01:46:36Z) - Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。
ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
論文 参考訳（メタデータ） (2025-06-26T22:40:30Z) - Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。
我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
論文 参考訳（メタデータ） (2024-09-11T15:07:18Z) - Identifying the Group-Theoretic Structure of Machine-Learned Symmetries [41.56233403862961]
本稿では,そのような機械学習対称性の群理論構造を検証し,同定する手法を提案する。
粒子物理学への応用として、非アベリアゲージ対称性の自発的破壊後の残留対称性の同定を示す。
論文 参考訳（メタデータ） (2023-09-14T17:03:50Z) - A Unified Framework for Discovering Discrete Symmetries [17.687122467264487]
対称性を尊重する関数を対称性のクラスから学習する問題を考察する。
我々は、幅広いサブグループにわたる対称性の発見を可能にする統一的なフレームワークを開発する。
論文 参考訳（メタデータ） (2023-09-06T10:41:30Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。