論文の概要: RoPE attention is an exact forward-pass gradient step with softmax intact
- arxiv url: http://arxiv.org/abs/2609.06685v1
- Date: Sun, 06 Sep 2026 15:53:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.295114
- Title: RoPE attention is an exact forward-pass gradient step with softmax intact
- Title（参考訳）: RoPEアテンションはソフトマックスを無傷で正確に前方通過勾配ステップである
- Abstract要約: 我々は、RoPE-softmaxフォワードパスの正確な勾配-ステップ表現を導出する。
我々は,非定常有限キャッシュヘッドがグローバルに正確なアフィンクエリの読み出しを許さないことを証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We derive an exact gradient-step representation of the RoPE-softmax forward pass. For every deterministic RoPE-softmax attention head with arbitrary affine projection weights, we construct a query-dependent effective matrix $ΔM_i$ satisfying $y_i = μ_i + u_i^\top ΔM_i$, where $μ_i$ is the uniform mean of the attended values and $u_i$ is the augmented query input. The construction applies the classical exponential divided difference $ρ= φ_1$ to retain the softmax exactly. Its positive coefficients give a unit gradient-step representation on a query-conditioned quadratic objective. The same function connects the RoPE generator to exact positional finite differences. We derive a tokenwise formula for the error of reusing one query's matrix and prove that a nonconstant finite-cache head cannot admit a globally exact affine query readout. Reconstruction checks and frozen-reuse calibration on one pretrained Qwen2.5-0.5B layer verify the representation and quantify the correction required when one query's matrix is reused.
- Abstract（参考訳）: 我々は、RoPE-softmaxフォワードパスの正確な勾配-ステップ表現を導出する。
任意のアフィン射影重みを持つすべての決定論的RoPE-softmaxアテンションヘッドに対して、$y_i = μ_i + u_i^\top ΔM_i$ を満たすクエリ依存の有効行列 $ΔM_i$ を構築する。
この構成は古典的指数分割差$ρ=φ_1$を適用してソフトマックスを正確に保持する。
その正の係数は、クエリ条件付き二次目的の単位勾配-ステップ表現を与える。
同じ関数は、RoPE生成器を正確な位置有限差分に接続する。
我々は、1つのクエリの行列を再利用する誤りに対するトークンワイズ式を導出し、非コンスタントな有限キャッシュヘッドがグローバルに正確なアフィンクエリの読み出しを許容できないことを証明した。
ある事前訓練されたQwen2.5-0.5B層のリコンストラクションチェックとフリーズ・リユース・キャリブレーションは、あるクエリの行列が再利用されたときに必要となる修正を検証し、定量化する。
関連論文リスト
- Scalable estimation of VARMA models [4.301367153728694]
自己回帰移動平均(VARMA)モデルは、中等次元を超えた非現実的と考えられてきた。
列長のバイアスを除去する推定法を提案する。
これにより、VARMAの見積もりは、シリーズの長さに依存しないコストで、実践者がVARモデルにずっと依存している問題のサイズに繋がる。
論文 参考訳（メタデータ） (2026-08-06T17:49:58Z) - Finding Most Influential Sets [0.0]
ディンケルバッハの手法は、反復ごとに$mathcalO(n)$コストと有限終了のアルゴリズムを生成する。
本手法は,これまで計算不能であった正確なMISを復元する。
論文 参考訳（メタデータ） (2026-06-04T09:24:26Z) - Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization [12.92201130466754]
CAQ-ZO は 1-grid-step Rademacher stencils $z pm r$ in $z = (x)$,map endpoints back through $-1$, update in $z$ となる。
提案理論は, グリッドの分散性を証明し, 終端を囲む推定器残差を分解し, 一般のオフグリッドクエリが2/2$残差チャネルを保持するステーション境界を与える一方で, CAQ-ZO はクエリ時間残差を正確にゼロにする。
論文 参考訳（メタデータ） (2026-05-11T14:55:20Z) - Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。
無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。
本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
論文 参考訳（メタデータ） (2026-02-11T21:44:20Z) - Parameter-free Algorithms for the Stochastically Extended Adversarial Model [59.81852138768642]
拡張逆数(SEA)モデルの既存のアプローチは、ドメインの直径$D$や損失関数のリプシッツ定数$G$といった問題固有のパラメータの事前知識を必要とする。
パラメータを不要にするためにOptimistic Online Newton Step (OONS) アルゴリズムを利用するパラメータフリー手法を開発した。
論文 参考訳（メタデータ） (2025-10-06T10:53:37Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Regression for matrix-valued data via Kronecker products factorization [0.5156484100374059]
我々は、パラメータ $beta_1k サブセット Rep times q_1$ および $beta_2k サブセット Rep times q$ を推定するための推定アルゴリズム KRO-PRO-FAC を提案する。
シミュレーションおよび実データに関する数値的研究は,提案手法が既存の手法と比較して,推定誤差と予測精度の両方において競合的であることを示している。
論文 参考訳（メタデータ） (2024-04-30T02:44:41Z) - Conditional Matrix Flows for Gaussian Graphical Models [1.6435014180036467]
本稿では,頻繁な鍵化とベイズ推論の利点を考察した変分推論行列GG-Flowの一般フレームワークを提案する。
a train of the sparse for any $lambda$ and any $l_q$ (pse-) and for any $l_q$ (pse-) we have train the limit for any $lambda$ and any $l_q$ (pse-) and (like for the selection) the often solution。
論文 参考訳（メタデータ） (2023-06-12T17:25:12Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。
ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。
B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文 参考訳（メタデータ） (2022-05-19T12:29:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。