論文の概要: Distributional Spectral Diagnostics for Localizing Grokking Transitions

• arxiv url: http://arxiv.org/abs/2605.08237v1
• Date: Thu, 07 May 2026 03:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.486064
• Title: Distributional Spectral Diagnostics for Localizing Grokking Transitions
• Title（参考訳）: グローキング遷移の局在化のための分布スペクトル診断
• Authors: Ziyue Wang, Yufeng Ying, Takafumi Kanamori,
• Abstract要約: グラッキングでは、モデルはまずトレーニングデータに適合し、テスト精度は低いままであり、後に一般化し始める。 テスト精度が上昇する前に、この遷移が観察されたトレーニング軌跡から局所化できるかどうかを問うとともに、明確なしきい値/FPR/リードタイムトレードオフを持つ診断問題として、グラッキング遷移局所化を定式化する。
• 参考スコア（独自算出の注目度）: 4.480801209867367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In grokking, a model first fits the training data while test accuracy remains low, and only later begins to generalize. We ask whether this transition can be localized from observed training trajectories before the test accuracy rises, and formulate grokking transition localization as a diagnostic problem with an explicit threshold/FPR/lead-time trade-off. Task-dependent observables are summarized as empirical distributions, mapped to Wasserstein/quantile coordinates, and analyzed by Hankel dynamic mode decomposition (DMD); the resulting reconstruction residual, together with spectrum and effective rank, forms the diagnostic output. On held-out modular-addition Transformer runs, the residual achieves AUROC \(\approx \) 0.93 for grokking-vs-non-grokking discrimination at the run level; under a fixed sustained-threshold operating rule, true-positive alarms can precede onset, with lead time reported jointly with false-alarm rate and uncertainty intervals. Perturbation experiments show that, in the tested \(wd=1\) pool, high-residual windows exhibit about \(3\times\) larger short-horizon perturbation deviation than low-residual windows. In a same-data norm-window control, perturbation sensitivity aligns with the residual ordering rather than total-parameter-norm ordering, suggesting that the residual is not merely a total-norm proxy at the window level in the studied \(wd=1\) dynamics. Norm signals remain strong run-level regime indicators, and log-probability performs best among the observables tested under the current protocol. We position the residual as a window-level monitoring and localization signal in the studied modular-arithmetic Transformer settings, not a universal early-warning predictor or an intervention rule.
• Abstract（参考訳）: グラッキングでは、モデルはまずトレーニングデータに適合し、テスト精度は低いままであり、後に一般化し始める。 テスト精度が上昇する前に、この遷移が観察されたトレーニング軌跡から局所化できるかどうかを問うとともに、明確なしきい値/FPR/リードタイムトレードオフを持つ診断問題として、グラッキング遷移局所化を定式化する。 タスク依存オブザーバブルは経験的分布として要約され、ワッサーシュタイン/クアンタイル座標にマッピングされ、ハンケル動的モード分解(DMD)によって解析される。 ホールドアウトされたモジュラー加算変換器の動作では、残余はランレベルでのグルーキングvs非グロッキング識別のためにAUROC \(\approx \) 0.93を達成する。 摂動実験により, 試験された<(wd=1\) プールでは, 高次窓は低次窓よりも, 約 \(3\times\) の短水平摂動偏差を示すことがわかった。 同データノルムウィンドウ制御では、摂動感度は全パラメータ-ノルム順序よりも残次数に一致し、研究された \(wd=1\) ダイナミクスのウィンドウレベルでの残差が単に全ノルムプロキシであることを示す。 ノーム信号は強力なランレベルのレギュレータのままであり、ログ確率は現在のプロトコルでテストされている可観測性の中で最高である。 我々は,残差を早期警戒予測器や介入規則ではなく,モジュール・アダルトメティック・トランスフォーマー・セッティングにおけるウィンドウレベルの監視および局所化信号として位置付ける。

関連論文リスト

• Kurtosis-Guided Denoising Score Matching for Tabular Anomaly Detection [6.893608092072852]
  Denoising score matching (DSM)は、ニューラルネットワークをトレーニングしてスコア関数を復元することで、データの分散を学ぶ方法を提供する。 K-DSM(Kurtosis-based noise scaling)は,各周縁分布の形状から雑音レベルを設定する方式である。 標準的な異常検出ベンチマークでは、K-DSMは半教師付き設定で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-05-07T21:19:12Z)
• The Stationarity Bias: Stratified Stress-Testing for Time-Series Imputation in Regulated Dynamical Systems [0.098314893665023]
  時系列計算ベンチマークはランダムマスキングと形状に依存しないメトリクスを使用する。 我々は、このバイアスを形式化し、評価を定常型と過渡型に分割するemphStratified Stress-Testを提案する。
  論文  参考訳（メタデータ） (2026-02-17T15:05:56Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Correcting False Alarms from Unseen: Adapting Graph Anomaly Detectors at Test Time [60.341117019125214]
  グラフ異常検出(GAD)における未確認正規pattErnsの修正のための,軽量かつプラグアンドプレイなテスト時間適応フレームワークを提案する。 意味的混乱に対処するために、シフトしたデータと元のデータとをグラフ属性レベルで整合させるグラフ整合器を用いる。 10個の実世界のデータセットに対する大規模な実験により、TUNEは事前学習されたGADモデルの合成パターンと実際の見えない正常パターンの両方への一般化性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-10T12:10:05Z)
• Catching Contamination Before Generation: Spectral Kill Switches for Agents [0.0]
  本稿では,フォワードパスのみを使用してエージェント実行中にバイナリ受信や拒否信号を出力する診断手法を提案する。 この手法は、注意によって誘導されるトークングラフを分析し、初期層における2つのスペクトル統計量を計算する。 ベイズ感覚では, 高頻度エネルギー比の1つの閾値が, 文脈の不整合を検出するのに最適であることを示す。
  論文  参考訳（メタデータ） (2025-11-08T02:24:05Z)
• Technical note on Sequential Test-Time Adaptation via Martingale-Driven Fisher Prompting [3.5808917363708743]
  M-FISHERは、ストリーミングデータにおける逐次分布シフト検出と安定した適応のための方法である。 検出のために、非整合性スコアから指数的マーチンゲールを構築し、Villeの不等式を適用し、偽アラーム制御の時間一様保証を得る。 適応のために、フィッシャー条件によるプロンプトパラメータの更新は、分布多様体上の自然な勾配降下を実装していることを示す。
  論文  参考訳（メタデータ） (2025-10-04T15:31:26Z)
• BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。 テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。 我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
  論文  参考訳（メタデータ） (2025-07-11T14:02:54Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Optimal Change-Point Detection with Training Sequences in the Large and Moderate Deviations Regimes [72.68201611113673]
  本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。 基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
  論文  参考訳（メタデータ） (2020-03-13T23:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。