論文の概要: VORT: Adaptive Power-Law Memory for NLP Transformers

• arxiv url: http://arxiv.org/abs/2605.08966v1
• Date: Sat, 09 May 2026 14:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.998779
• Title: VORT: Adaptive Power-Law Memory for NLP Transformers
• Title（参考訳）: VORT:NLP変換器の適応型パワーローメモリ
• Abstract要約: 学習可能な分数次 _iin[,1] をそれぞれ割り当てるメモリアーキテクチャを導入する。 分数重み付け和は非マルコフ和であるため、ガウス・ラゲール二次方程式によって計算された指数和(SOE)分解によって近似する。 リトリーバルは、正確にO(KSd_d_v)-per-stepの再発を有するリニアアテンションアキュムレータを介してキーと連想する。
• 参考スコア（独自算出の注目度）: 0.913755431537592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard Transformers impose near-exponential decay on the influence of distant tokens, conflicting with the power-law structure of long-range dependencies in natural language. We introduce the \emph{Variable-Order Retention Transformer} (\VORT{}), a memory architecture in which each ingested token is assigned a learnable fractional order α_i\in[δ,1] that governs a Grünwald--Letnikov power-law retention kernel. Because the fractional weighted sum is non-Markovian, we approximate it through a sum-of-exponentials (SOE) decomposition computed by Gauss--Laguerre quadrature on a Laplace-type integral representation of the kernel weights. Each exponential component admits a one-step Markovian recurrence at O(Sd_v) per step, where S=O(\log(T/\varepsilon)) terms suffice for \varepsilon-uniform accuracy on horizon [1,T]. Retrieval is keyed and associative via a linear-attention accumulator with an exact O(KSd_φd_v) -per-step recurrence. Four results are established: (i) an SOE approximation theorem with geometric convergence rate from the analyticity of the integrand after a log-change of variables; (ii) a quantisation bound valid on [δ,1] with correct analysis near α=0; (iii) a direct L^2 energy argument (Proposition) showing that for α>1/2 any mixture with fixed minimum decay rate Λ>0 incurs L^2([1,T]) error at least N_α(T)-C(Λ)\to\infty, with the Λ-dependence made explicit; and (iv) linear convergence of a gradient plasticity rule under the Polyak--Łojasiewicz condition. Two synthetic experiments confirm the architectural advantage: a Zipf-distributed retrieval benchmark and an entity label-copy task with uniform lag distribution, the latter ruling out prior-matching as an explanation for the power-law kernel's advantage.
• Abstract（参考訳）: 標準変換器は、遠方のトークンの影響にほぼ指数関数的な減衰を課し、自然言語における長距離依存の力-法則構造と矛盾する。 本稿では,Grünwald--Letnikov 電力則保持カーネルを管理する,学習可能な分数次 α_i\in[δ,1] をそれぞれ割り当てるメモリアーキテクチャである \emph{Variable-Order Retention Transformer} (\VORT{}) を紹介する。 分数重み付け和は非マルコフ和であるため、核重みのラプラス型積分表現上のガウス-ラゲール二次方程式によって計算された指数和(SOE)分解によって近似する。 ここで、S=O(\log(T/\varepsilon)) は地平線 [1,T] 上の \varepsilon-uniform の精度で十分である。 リトリーバルは、正確にO(KSd_φd_v)-per-stepの再発を有するリニアアテンションアキュムレータを介してキーと連想する。 4つの結果が得られた。 (i)変数の対数変化後の積分の解析性から幾何収束率を持つSOE近似定理 (ii) α=0 付近で正しく解析された[δ,1] に有効な量子化 (iii) L^2 エネルギーの直接議論(仮説)により、α>1/2 の場合、固定最小崩壊率 >0 の混合物は L^2([1,T]) の誤差を少なくとも N_α(T)-C(\to\infty の誤差で引き起こす。 (4) ポリアック-ジョジャシエヴィチ条件下での勾配可塑性則の線形収束 2つの合成実験によりアーキテクチャ上の利点が確認された:Zipf分散検索ベンチマークと、均一なラグ分布を持つエンティティラベルコピータスク、そして後者は、パワーローカーネルの利点の説明として事前マッチングを除外する。

関連論文リスト

• Stability and Generalization of Straight-Through Estimators for Training Two-Layer Quantized Neural Networks [16.84694273405234]
  ヒンジロスを伴う2層2層活性化ネットワークを訓練するための恒常的ストレートスルー推定器(STE)について検討した。 我々の中心的な問題は、アルゴリズム安定性が不連続なSTEトレーニングルールによって生成される推定器の統計的一般化を説明することができるかどうかである。
  論文  参考訳（メタデータ） (2026-09-06T07:12:16Z)
• An Exactness Barrier for ZX-Calculus Optimization of Synthesized Clifford+T Circuits [3.825239835665478]
  ゲートと回路の最適化は通常別々に研究される。 両方の動作がひとつのバウンドから続くことを示す。 これは、ニアヌル最適化パイプラインのサイズを説明し、予測する。
  論文  参考訳（メタデータ） (2026-08-24T04:53:20Z)
• A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition [39.146761527401424]
  本研究は,期待されるコストの和を最小化するための近位次法を導入する。 クルディカ・ロジャシエヴィチ(KL)特性を用いて、全軌道の1つの定常点への収束を保証する。
  論文  参考訳（メタデータ） (2026-08-05T23:07:27Z)
• Geometric Classification of Biased Quantum Capacity via Harmonic Translation [0.20524609401792393]
  均一局所性の下では、t-局所位相誤差の下での最大論理次元は、Aq(n,2t+1)>Bq(n,2t+1)に等しい 構造化位相雑音に対して、正確な補正は加法ケイリーグラフの独立性と同値である。 混合パウリ雑音の場合、共役領域における同時保護は、固有レートペナルティR = 1-(gamma_X+gamma_Z)/2を生じる。
  論文  参考訳（メタデータ） (2026-03-21T04:17:42Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
  変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。 ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
  論文  参考訳（メタデータ） (2026-01-31T15:49:23Z)
• Linear combination of unitaries with exponential convergence [0.0]
  単項演算子の線形結合に非単項演算子を分解する一般的な方法を提案する。 量子回路で実装されると、結果のブロックエンコーディングのサブ正規化は逆誤差の二重対数でスケールする。
  論文  参考訳（メタデータ） (2026-01-25T22:47:21Z)
• Transmutation based Quantum Simulation for Non-unitary Dynamics [35.35971148847751]
  A=Ldagger L$という形の正半定値作用素によって生成される散逸拡散力学をシミュレートする量子アルゴリズムを提案する。 我々の主な道具はカンナイ変換であり、これは拡散半群 $e-TA$ をユニタリ波動伝搬器のガウス重み付き重ね合わせとして表す。
  論文  参考訳（メタデータ） (2026-01-07T05:47:22Z)
• Correlation Lengths for Stochastic Matrix Product States [0.8594140167290097]
  局所観測可能量の熱力学的限界の存在を証明した。 等質な(ランダム変換不変な)場合、確率の任意の誤差耐性に対して、二点函数は二点間の距離で指数関数的に崩壊する。 I.d.の場合、指数的崩壊は依然として決定論的速度で保たれ、確率は距離において指数的に速く近づく。
  論文  参考訳（メタデータ） (2025-10-08T21:17:43Z)
• On the Constant Depth Implementation of Pauli Exponentials [49.48516314472825]
  任意の長さの $Zotimes n$指数を$mathcalO(n)$ ancillae と 2体 XX と ZZ の相互作用を用いて一定深さの回路に分解する。 クビットリサイクルの恩恵を受ける回路の書き直し規則を導入し,本手法の正しさを実証する。
  論文  参考訳（メタデータ） (2024-08-15T17:09:08Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Spectral Analysis of Product Formulas for Quantum Simulation [0.0]
  本研究では,大規模なシステムに対して,$epsilon$から$epsilon1/2$へのスケーリングにおいて,精度の高いエネルギー固有値を推定するために必要なトロッターステップサイズを改善することができることを示す。 結果は部分的にダイアバティックなプロセスに一般化され、このプロセスはスペクトルの残りの部分からギャップによって分離された狭いエネルギーバンドに留まる。
  論文  参考訳（メタデータ） (2021-02-25T03:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。