論文の概要: Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

• arxiv url: http://arxiv.org/abs/2606.26050v1
• Date: Wed, 24 Jun 2026 17:27:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.402998
• Title: Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining
• Title（参考訳）: ナチュラル・アングロキング:どのルールが事前訓練に耐えるかの非対称制御
• Abstract要約: コーパスは、モデルが保持するルールを学習した損失曲線に痕跡がなく、決定します。 公的なピチアチェックポイントでは、予測されたモデルスケールで順序付けられた崩壊深さと同じ創発的崩壊ダイナミクスが現れる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Midway through an ordinary pretraining run, a small language model learns the pronoun-gender rule: cued with a girl's name ("Sue cried because"), it resolves the next pronoun to she, generalizing to held-out probes (0.94 by step 925). By step 3,500 the same model scores near zero on the same probes, although the rule's evidence is still in the training data. We call this within-run reversal natural ungrokking: the corpus decides, with no trace in the loss curve, which learned rules a model keeps. Which rules survive is predictable from one corpus statistic: how often the training stream shows the rule winning. Across un-intervened runs (two corpora, three budgets, three seeds), support frequency decides a rule's fate; the data-to-parameter ratio only modulates how deeply a doomed rule falls. The same emerge-then-collapse dynamics appear in public Pythia checkpoints, collapse depth ordered by model scale as predicted. The forgetting is a displacement: a competing surface pattern out-competes the rule, and the log-probability margin between them crosses zero within 100 training steps of the behavioral collapse. Control over this fate is asymmetric: the same edit that destroys a rule on demand cannot restore it. Flipping support to counter-evidence in place kills the rule with monotone dose-response in two unrelated rules; but injecting support back, even to 450 times the level that naturally sustains it, buys no recovery. Every confirmatory threshold and prediction was pre-registered before the data it governed was read.
• Abstract（参考訳）: 通常の事前訓練の途中で、小さな言語モデルでは、女の子の名前でキューされ("Sue cried because")、彼女への次の代名詞を解決し、ホールドアウトプローブに一般化する(ステップ925で0.94)。 ステップ3500では、同じモデルが同じプローブでゼロに近いスコアを得るが、ルールの証拠は依然としてトレーニングデータにある。 コーパスは、モデルが保持するルールを学習した損失曲線に痕跡がなく、決定します。 どのルールが生き残るかは、あるコーパス統計から予測可能である。 未介入のラン(2つのコーパス、3つの予算、3つの種)にわたって、サポート周波数はルールの運命を決定する。 公的なピチアチェックポイントでは、予測されたモデルスケールで順序付けられた崩壊深さと同じ創発的崩壊ダイナミクスが現れる。 競合する表面パターンは規則に反し、それらの間の対数確率のマージンは行動崩壊の100段階以内でゼロとなる。 この運命に対する制御は非対称であり、要求のルールを破壊するのと同じ編集では、それを復元することはできない。 逆エビデンスに対するサポートは、2つの無関係なルールでモノトン線量応答でルールを無効にするが、自然に持続する450倍のレベルまでサポートを注入しても回復は得られない。 すべての確認しきい値と予測は、彼らが管理するデータが読まれる前に事前登録された。

関連論文リスト

• A Fragility Spectrum for Recursive Language-Model Training [9.563027159959587]
  異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。 5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。 共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
  論文  参考訳（メタデータ） (2026-09-10T06:56:22Z)
• Gating Before Commitment: Anticipating Intent Divergence to Prevent Post-Interaction Decision Failures in Autonomous Driving [11.206758778146282]
  本研究では,言語誘導型インテントモジュールが構造化記述子を読み出し,スムーズなインテント・ジオメトリ・ダイバージェンススコアを計算し,コミット前に計画された操作をゲートする決定層について検討する。 リプレイされたオフロードの出発と、凍結して公表された実装の下での4つのクラッシュクリップで、ゲーティングは計画を修復する唯一のレイヤーである。 このモデルの実証された役割は、これらの失敗を最も早く検出し、幾何学的規則に対する不確実な拒否である。
  論文  参考訳（メタデータ） (2026-08-26T17:42:03Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI) [0.0]
  我々は3つのオープンウェイトモデル(qwen3:8b, llama3.1:8b, mistral:7b)上で、繰り返しツールコールタスクを実行するローカルでゼロコストハーネスを構築する。 障害が希少化するにつれてエンゲージメントが上昇し,検出可能性しきい値付近で崩壊したと仮定した。 保証された障害実行は、モデルが異常を認識しているかどうかを示すが、一度認識されたエンゲージメントとは異なっている。
  論文  参考訳（メタデータ） (2026-08-13T10:25:40Z)
• The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL [0.0]
  強化学習エージェントは、タスクシーケンスでトレーニングされたときに破滅的に忘れる。 我々は,この方式を忘れることはチャネルの問題であり,記憶の問題ではないことを示した。
  論文  参考訳（メタデータ） (2026-07-22T04:46:49Z)
• Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix [46.122203287541005]
  目標条件付き予測器は、精度0.90$の精度で到達するが、これは知覚ではなく、インテンストラクションの書き起こしである。 ゴールを破って(0.90!to!0.27$, three seed)チャンスを逃し、予測アンカーに9.5%の時間を与える。 診断は、修正を規定する: ゴールを(プランナーのコストに属する)ダイナミクスから遠ざけ、エンフレッドパスを監督する。
  論文  参考訳（メタデータ） (2026-07-08T02:38:43Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• TASR: Training-Free Adaptive Stopping for Iterative Retrieval [12.177557521540082]
  反復的検索拡張生成エージェントは、モデルが解答に収束した後も検索を続けることで、一般的にオーバースペンドされる。 TASR(Training-Free Adaptive Stopping Rule)は,モデルが前ラウンドの正規化を繰り返すと発火する一行述語である。
  論文  参考訳（メタデータ） (2026-06-11T18:35:14Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Silent Collapse in Recursive Learning Systems [24.578102943388256]
  トラジェクトリ統計をモニタし、遅い時間スケールの信頼変数を推定する軽量なメタ認知ループを提案する。 MTRは早期警告を提供し、実際のデータにアクセスすることなくサイレント崩壊を積極的に防止する。
  論文  参考訳（メタデータ） (2026-05-14T08:59:26Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• Learning from Equivalence Queries, Revisited [62.46207559138802]
  本研究は,全情報と帯域幅の両方のフィードバックに基づいて等価クエリから学習する。 本分析では,対称逆数に対するゲーム理論的視点と適応重み付け法とミニマックス引数を組み合わせる。
  論文  参考訳（メタデータ） (2026-04-06T08:55:41Z)
• Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning [48.14470449860784]
  テスト時強化学習(TTRL)は、推論時に合成信号のみを使用してモデルを適応するためのラベルなしパラダイムを提供する。 簡単な直感に基づくフレームワークであるSelf-Harmonyを紹介します。
  論文  参考訳（メタデータ） (2025-11-03T03:34:34Z)
• The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems [0.0]
  外部からのフィードバックのない再帰的な自己評価は、進歩よりもむしろ改革をもたらすことが多い。 3つのモデル(OpenAI GPT-4o-mini, Anthropic Claude 3 Haiku, Google Gemini 2.0 Flash)と4つのタスクファミリー(パラメータ、コード、説明、リフレクション)にまたがる144の推論シーケンスについて検討する。 我々はこれを、生成的推論における自己補正の構造的限界の証拠として解釈する。
  論文  参考訳（メタデータ） (2025-10-23T07:53:26Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。