論文の概要: Underscoring the Problem: Why Softpick Fails at Initialization

• arxiv url: http://arxiv.org/abs/2610.05488v1
• Date: Sun, 04 Oct 2026 19:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:31:45.695574
• Title: Underscoring the Problem: Why Softpick Fails at Initialization
• Title（参考訳）: なぜSoftpickが初期化に失敗したのか
• Abstract要約: ソフトピックはスコアの修正、シンクの除去、隠れた状態のカルトーシスの低下によって制約を取り除く。 私たちはこの失敗を正規化の問題として再設定しました。 230Mパラメータでは、停止段階の演算子は量子化においてSoftpickと一致し、デッドヘッドは少なく、パスキーをより確実に取得する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Softmax attention gives every token a nonzero weight, which in trained models concentrates into attention sinks and massive activations that widen the dynamic range low-precision inference must cover. Softpick removes this constraint by rectifying scores, eliminating sinks and lowering hidden-state kurtosis, but its advantage fades at scale. We reframe this failure as a normalization problem. Softpick's denominator splits into positive- and negative-shifted sums $D^+$ and $D^-$, used identically in the forward and backward pass, preventing their roles from being isolated. We separate them into a family of operators that independently choose each denominator. The failure originates at initialization: every layer contains rows where $D^+$ is exactly zero, while near-dead rows produce gradient norms above $10^{12}$ regardless of the backward denominator. Only Softpick and a stop-gradient variant, which keeps $D^+ + D^-$ forward but backpropagates through $D^+$ alone, train from scratch. At 230M parameters, the stop-gradient operator matches Softpick on quantization, has fewer dead heads, and retrieves passkeys more reliably, trailing only on peak attention-weight kurtosis.
• Abstract（参考訳）: ソフトマックスアテンションは全てのトークンに非ゼロウェイトを与え、訓練されたモデルでは注意シンクと大きなアクティベーションに集中し、ダイナミックレンジの低精度推論をカバーしなければならない。 ソフトピックはこの制約を、スコアの修正、シンクの除去、隠れた状態のカルトーシスの低下によって取り除くが、その利点は大規模に減少する。 私たちはこの失敗を正規化の問題として再設定しました。 ソフトピックの分母は正と負のシフト和$D^+$と$D^-$に分けられ、前と後ろのパスで同一に使われる。 私たちはそれらを、それぞれの分母を独立に選ぶ演算子の族に分けます。 失敗は初期化に端を発する: すべての層は$D^+$ がちょうど 0 である行を含み、一方、最寄りの行は、後方分母に関係なく 10^{12}$ 以上の勾配ノルムを生成する。 Softpickと、D^++D^-$を前方に保ちながら、D^+$単独でバックプロパゲートする停止段階の変種のみ、スクラッチからトレーニングを行う。 230Mパラメータでは、停止段階の演算子は量子化においてSoftpickと一致し、デッドヘッドは少なく、パスキーをより確実に回収し、ピークアテンション重みのあるカルトシスにのみ追従する。

関連論文リスト

• Stiefel Attention: When the Geometry of Transformer Projection Matrices Dominates Optimizer Choice---and When It Does Not [0.0]
  WQ,WK$をEuclidian Adamで最適化しています。 1回のランは、ベースラインの61.1%ドルに対して、エポック20,000で9,7.0%$の検証精度を持っている。 CIFAR-10のパッチでは、同じルールが12対のスタートで$mathbf+8.98$,ppを得る。
  論文  参考訳（メタデータ） (2026-09-16T19:35:47Z)
• Parameter-Free Heavy-Tailed Bandits [36.983245230853434]
  固定テール指数のモーメント境界$u$に対する適応について研究する。 我々は、全てのアルゴリズムが$u$を知らないこと、あるいはその上限を知らないことは、その分布依存と分布に依存しない後悔の保証の間に急激なトレードオフを従わなければならないことを証明している。
  論文  参考訳（メタデータ） (2026-07-31T14:27:28Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification [3.058685580689604]
  ハードラベル分類は通常、スムーズな代理損失、特にソフトマックスのクロスエントロピーで訓練される。 我々は、このスムーズなサロゲートと離散ラベルのミスマッチが、パワーローラー学習曲線を生成するメカニズムを分離する。 学習速度のスケジュールは、$_g sim -1/2$の電力法則に対する一般化誤差を改善することができることを示す。
  論文  参考訳（メタデータ） (2026-05-21T11:26:32Z)
• Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback [49.84060509296641]
  オンライン有限水平マルコフ決定過程を逆向きに変化した損失と総括的帯域幅フィードバック(フルバンド幅)を用いて研究する。 この種のフィードバックの下では、エージェントは、軌跡内の各中間段階における個々の損失よりも、軌跡全体に生じる総損失のみを観察する。 この設定のための最初のポリシー最適化アルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2025-02-06T12:03:24Z)
• Smooth Non-Stationary Bandits [49.19728527803684]
  本研究では、各アームの平均報酬シーケンスを$beta$-H"older関数に埋め込むことができる非定常包帯問題について検討する。 スムース(つまり$betage 2$)と非スムース(つまり$beta=1$)との最初の分離は、$tilde O(k4/5 T3/5)$ regret on any $k$-armed, $2-H"older instanceでポリシーを提示することで示します。
  論文  参考訳（メタデータ） (2023-01-29T06:03:20Z)
• Variance-Aware Sparse Linear Bandits [64.70681598741417]
  余分な線形包帯に対する最悪のミニマックスは$widetildeThetaleft(sqrtdTright)$である。 ノイズがなく、アクションセットが単位球面である良性設定では、ディビジョン・アンド・コンカーを使用して、$widetildemathcal O(1)$ regretを達成することができる。 我々は,任意の分散対応線形帯域幅アルゴリズムを分散対応線形帯域幅アルゴリズムに変換する汎用フレームワークを開発した。
  論文  参考訳（メタデータ） (2022-05-26T15:55:44Z)
• Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap [84.66885506098724]
  本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。 AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。 また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
  論文  参考訳（メタデータ） (2021-02-09T07:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。