論文の概要: Algorithmic Information Dynamics of Learning: A Certified, Differentiable Complexity Controller for Grokking
- arxiv url: http://arxiv.org/abs/2609.13197v2
- Date: Tue, 15 Sep 2026 03:40:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.522678
- Title: Algorithmic Information Dynamics of Learning: A Certified, Differentiable Complexity Controller for Grokking
- Title（参考訳）: 学習のアルゴリズム情報ダイナミクス: グルーキングのための証明付き、微分可能な複雑度制御器
- Abstract要約: 微分可能な推定器を使用して、計算を動的に学習する。
過渡的損失キックとして、推定器はレヴィンの説明-長さ-逆時間感覚でグルーキングを加速させる。
これらの測定は、経験的に調整された階段、バンバンのパルス、失火、収量で放出される。
- 参考スコア（独自算出の注目度）: 0.009558392439655011
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Algorithmic Information Dynamics (AID) studies systems by perturbing them and measuring changes in algorithmic complexity, but its usual estimator, the Block Decomposition Method, is piecewise constant, restricting the calculus to finite differences. We use $K^{\mathrm{CDM}}_{\mathrm{s}F}$, a certified, differentiable estimator, to bring the calculus into learning dynamics: grokking, where a complexity order parameter is known but has not been made to act. As a transient loss kick, the estimator becomes a controller that accelerates grokking in Levin's description-length--versus-time sense, within a data-dependent Occam boundary whose finite-size trend, $f_c\sim\ln p/p$, is consistent with a coupon-collector interpretation. Ablations show that a complexity gate matches a train-loss gate in rescuing failing seeds with $27\%$ less intervention; among the tested signals, only map complexity marks the transition's completion; the certified prior and the per-parameter $\nabla K$ attribution are both fungible (a uniform-prior sensor makes bit-identical gate decisions, and random supports match $\nabla K$-selected ones above a sparsity threshold); and direct field perturbation shows a nucleation-like response to the Occam field (no linear regime is resolved over the probed amplitudes, so these measurements do not justify a fluctuation--dissipation surrogate), with a finite-field response growing by orders of magnitude toward the phase-transition. These measurements account for the empirically tuned staircase: bang--bang pulses, stall-fired and released on yield, whose iteration plausibly builds the response it exploits. The kick transfers to sparse parity and to a transformer; a sustained weight-space loss fails. The algorithmic estimator's distinct contribution is timing (when to fire and when to release), not attribution.
- Abstract（参考訳）: アルゴリズム情報ダイナミクス(AID)は、アルゴリズムを摂動させ、アルゴリズムの複雑さの変化を測定することによってシステムを研究するが、通常の推定器であるブロック分解法(Block Decomposition Method)は分数的に一定であり、計算を有限差に制限している。
K^{\mathrm{CDM}}_{\mathrm{s}F}$、認定された微分可能推定器を使用して、計算を学習力学に導入する。
過渡的損失キックとして、推定子は、有限サイズのトレンドである$f_c\sim\ln p/p$がクーポン-コレクタ解釈と一致しているデータ依存のOccam境界内で、レヴィンの説明-長さ-逆時間感覚でグルーキングを加速するコントローラとなる。
検証された信号のうち、マップの複雑さは遷移の完了を示すものであり、認証された前の値とパラメータあたりの$\nabla K$属性はどちらも楽しむ(一様のセンサーはビット識別ゲートの決定を行い、ランダムなサポートはスパーシティ閾値の上の$\nabla K$選択された値と一致する)。
これらの測定は、経験的に調整された階段を説明できる:バンバンのパルス、ストールの発火、収量での放出。
キックはスパースパリティと変圧器に転送され、持続的な重量空間損失は失敗する。
アルゴリズム推定器の独特な貢献は、属性ではなくタイミング(発射時期と放出時期)である。
関連論文リスト
- Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization [15.2286904549704]
二重アンカー機構,すなわち二重アンカー機構が,そのようなエラーの蓄積を伴わずに反復設定にまで拡張されていることを示す。
強い単調作用素の場合、同じアルゴリズムはよりシャープな複雑さを達成し、$$-dependenceという観点で下界とほぼ一致する。
論文 参考訳（メタデータ） (2026-08-12T13:25:55Z) - Search as Computation Allocation [52.080489413778]
多くのアルゴリズムは、決定を返す前に内部リソースを使い、その端末出力の品質によってのみ評価される。
終端計算割当問題などの手順を定式化する。
ベルマン方程式は、固定予算の下での最適割り当て、価格計算、正確な認証を特徴付ける。
論文 参考訳（メタデータ） (2026-07-30T08:45:14Z) - Denoising growth complexity: Data geometry and certified schedules for diffusion sampling [14.877292137182422]
我々は、$mathsfDGC$インクリメントが、革新表現に適用されたオイラースキームのKL誤差に単純で明示的な境界をもたらすことを示す。
我々は、より単純なシングルブロック設定とより洗練された$K$ブロック設定の両方において、最適化されたステップサイズスケジュールに対するKLサンプリング保証を導出する。
論文 参考訳（メタデータ） (2026-07-28T21:26:16Z) - Attractor Geometry Determines the Identifiability Limits of System Discovery [0.764671395172401]
1つの数値、$_min(M)$はスパース回帰(SINDy)と進化回帰(PySR)の両方に対して識別可能性天井を設定する。
また、二進数や予測スコアに見えない性能差を解消する係数重み付き構造計量であるSoft F1を導入する。
論文 参考訳（メタデータ） (2026-07-20T20:19:19Z) - Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。
Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。
多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
論文 参考訳（メタデータ） (2026-05-27T15:17:06Z) - Hardware-Agnostic Modeling of Quantum Side-Channel Leakage via Conditional Dynamics and Learning from Full Correlation Data [0.0]
本研究では,敵プローブキュービットが隠れゲートシーケンス中にターゲットキュービットと相互作用するシーケンシャルサイドチャネルモデルについて検討する。
同じシークエンスを$N$ショットで繰り返すと、経験的な完全相関レコードが得られる。
広帯域結合とノイズグリッドの実験により、予測された結合帯域付近で厳密なシーケンス回復が集中していることが示されている。
論文 参考訳（メタデータ） (2026-02-17T19:33:23Z) - Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。
ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
論文 参考訳（メタデータ） (2026-01-31T15:49:23Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement
Learning: Adaptivity and Computational Efficiency [90.40062452292091]
本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。
我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。
また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-21T00:17:24Z) - Simulating scalar field theories on quantum computers with limited
resources [62.997667081978825]
量子ビットコンピュータ上での格子スカラー場理論を実装するための量子アルゴリズムを提案する。
このアルゴリズムは、通常の対称性相と壊れた対称性相の両方において、幅広い入力パラメータの効率的な$phi4$状態の準備を可能にする。
論文 参考訳（メタデータ） (2022-10-14T17:28:15Z) - Differentially Quantized Gradient Methods [53.3186247068836]
微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。
あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
論文 参考訳（メタデータ） (2020-02-06T20:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。