論文の概要: Replaying the Same Gradients at a Different $\varepsilon$: A Registered Test of the Fixed-Trajectory Account of Adam's $\varepsilon$ for One Rare Row
- arxiv url: http://arxiv.org/abs/2610.38169v1
- Date: Wed, 28 Oct 2026 02:20:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.358054
- Title: Replaying the Same Gradients at a Different $\varepsilon$: A Registered Test of the Fixed-Trajectory Account of Adam's $\varepsilon$ for One Rare Row
- Title（参考訳）: 異なる$\varepsilon$:A Registered Test of the Fixed-Trajectory Account of Adam's $\varepsilon for One Rare Row
- Abstract要約: すべての更新を、ランニング平均の2乗勾配と小さな定数のエプシロンの平方根で分割する。
プローブ列と呼ばれるトークンが稀な出力埋め込み行では、エプシロンの上昇は算術だけで行のステップを縮小させるものとして読むことができる。
トレーニングの実行が進行する一方で、プローブ行の更新を別のエプシロンで分割する。
このリプレイはランが実際に見た勾配の正確な算術であり、ランの軌道を固定している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adam divides every update by the square root of a running average of squared gradients plus a small constant, epsilon. For an output-embedding row whose token is rare, which we call the probe row, raising epsilon can be read as shrinking that row's steps by arithmetic alone. We test that reading directly. While a training run proceeds, we also divide the probe row's update by a different epsilon, using the run's own moment estimates; this replay is exact arithmetic on the gradients the run actually saw, so it holds the run's trajectory fixed. A rule for when the replay counts as wrong was written down before the runs. We train a small causal transformer in a standard configuration. When epsilon rises by four orders of magnitude, the replay counts as wrong on each of the three seeds registered for the test: the probe row keeps 8.9--11.4 times more of its displacement than predicted with the main, sampled-negative head, and 5.0--7.7 times more with a full-softmax head scored as a second instrument. At three orders of magnitude, tested with the main head only, it does not, by narrow margins; a further two seeds, registered after this result had been committed and scored on their own, follow the same pattern. In separate real runs, raising epsilon on the probe row alone is enough to reproduce the row's change and raising it on every other parameter alone also moves the row part of the way --- readings about the runs that do not rescue the replay; scaling the row's learning rate instead, with the denominator untouched, is mispredicted by the replay in the same direction. This is one embedding row of one model family on one corpus; we make no claim about rates, about rows in general (other rows were read only as a panel on one trajectory) or about how the effect changes with model size.
- Abstract（参考訳）: アダムは全ての更新を2乗勾配のランニング平均の平方根と小さな定数のエプシロンで分割する。
プローブ列と呼ばれるトークンが稀な出力埋め込み行では、エプシロンの上昇は算術だけで行のステップを縮小させるものとして読むことができる。
私たちはその読書を直接テストします。
このリプレイは、実行が実際に見た勾配の正確な算術であり、実行の軌道を固定している。
リプレイの回数が間違っていた場合のルールが実行前に書き下された。
標準的な構成で小さな因果変換器を訓練する。
エプシロンが4等級上昇すると、このリプレイは、試験用に登録された3つの種子のそれぞれに誤りとしてカウントされる:プローブ列は、メインのサンプル陰性頭部の予測値の8.9〜11.4倍、フルソフトマックスヘッドを第2の計器としてスコアした5.0〜7.7倍である。
大きさは3桁で、主頭部でのみ試験されるが、狭い縁では試験されない。この結果以降に登録されたさらに2つの種子は、同じパターンに従って、単独でコミットされ、得点される。
個別の実際の実行では、プローブ行でエプシロンを上げるだけで行の変更を再現でき、他のパラメータでそれを上げるだけで、その行を移動させることができます -- リプレイを救わないランに関する読み込み — 行の学習率をスケールする代わりに、デノミネータを使わずに、同じ方向にリプレイによって予測されるのです。
これは1つのモデルファミリの1つの埋め込み行で、1つのコーパスに1つのモデルファミリの埋め込み行である。
関連論文リスト
- How Much Gradient Does Truncated Backprop Lose in Looped Transformers? [0.0]
ループ変換器は1ブロックの層を何度も再利用し、最後のkループだけをバックプロパゲートすることでしばしば訓練される。
9つのループ言語モデルで、1つの後進パスから1kずつの重み勾配を正確に測定する。
論文 参考訳（メタデータ） (2026-10-20T19:42:35Z) - Counting with Attention and LayerNorm: Norm Scaling and Representation Geometry [4.316506818580031]
単一注意層におけるカウントのコストを最大で$L$まで調べる。
主に回帰読み出しに焦点を当てるが、分類読み出しも検討する。
論文 参考訳（メタデータ） (2026-10-12T12:09:35Z) - Anatomy of LLM Sycophancy: What a Flip Rate Hides [3.7193230342956056]
我々は,SycoLensを用いてユーザプレッシャと評価設定のフリップ率の測定方法を検証する。
各測定は、アイテムの1つのステートレスリプレイ、コミットされた回答、および1つのスクリプト化されたユーザラインを固定形式で保持する。
論文 参考訳（メタデータ） (2026-10-05T15:32:45Z) - Rotate the Loop: Blockwise Conformality for Looped Transformers [72.4010041245191]
ループが状態を追跡することを学習したかどうかが,この地図の形状に関する幾何学的問題であることを示す。
残差を座標整列群に分割し,それぞれ内部を回転させるブロックワイド整列注入を提案する。
論文 参考訳（メタデータ） (2026-09-30T23:32:34Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳（メタデータ） (2026-09-20T14:54:35Z) - Reading the Room: Implicit Confusion Encoding in Recurrent World Model States [0.0]
我々は、予測エラーのトラックの混乱を軽減するために、繰り返し発生する隠れ状態$h_t$を示す。
これは、新しい入力をフラグするアンサンブルの不一致と、現在悪い予測をフラグするリコンストラクションエラーとを機能的に区別している。
論文 参考訳（メタデータ） (2026-08-21T19:32:38Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。
固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。
提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
論文 参考訳（メタデータ） (2026-07-13T14:22:06Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - Almost Minimax Optimal Best Arm Identification in Piecewise Stationary Linear Bandits [55.957560311008926]
そこで本研究では,各文脈の平均値によって腕の質を計測するPSLBモデルを提案する。
PS$varepsilon$BAI$+$は、$varepsilon$-optimal armを、確率$ge 1-delta$と最小限のサンプルで識別することが保証される。
論文 参考訳（メタデータ） (2024-10-10T06:15:42Z) - How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。
トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文 参考訳（メタデータ） (2024-02-08T16:24:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。