論文の概要: KERPLE: Kernelized Relative Positional Embedding for Length
Extrapolation
- arxiv url: http://arxiv.org/abs/2205.09921v1
- Date: Fri, 20 May 2022 01:25:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 13:41:26.485224
- Title: KERPLE: Kernelized Relative Positional Embedding for Length
Extrapolation
- Title(参考訳): KERPLE:長尺外挿用カーネル化相対的位置埋め込み
- Authors: Ta-Chung Chi, Ting-Han Fan, Peter J. Ramadge, Alexander I. Rudnicky
- Abstract要約: KERPLEは、位置差のカーネル化によって外挿のための相対的な位置埋め込みを一般化するフレームワークである。
CPDカーネルの多様性により、原則的に長さ外挿を可能にする様々な RPE を導出できる。
- 参考スコア(独自算出の注目度): 72.71398034617607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relative positional embeddings (RPE) have received considerable attention
since RPEs effectively model the relative distance among tokens and enable
length extrapolation. We propose KERPLE, a framework that generalizes relative
position embedding for extrapolation by kernelizing positional differences. We
achieve this goal using conditionally positive definite (CPD) kernels, a class
of functions known for generalizing distance metrics. To maintain the inner
product interpretation of self-attention, we show that a CPD kernel can be
transformed into a PD kernel by adding a constant offset. This offset is
implicitly absorbed in the Softmax normalization during self-attention. The
diversity of CPD kernels allows us to derive various RPEs that enable length
extrapolation in a principled way. Experiments demonstrate that the logarithmic
variant achieves excellent extrapolation performance on three large language
modeling datasets.
- Abstract(参考訳): RPEはトークン間の相対距離を効果的にモデル化し、長さ外挿を可能にするため、相対的な位置埋め込み (RPE) が注目されている。
位置差のカーネル化によって外挿のための相対的な位置埋め込みを一般化するフレームワークであるKERPLEを提案する。
我々は、距離メトリクスを一般化することで知られる関数のクラスである条件付き正定値(cpd)カーネルを用いて、この目標を達成する。
自己注意の内積解釈を維持するため,一定オフセットを追加することにより,PDカーネルをPDカーネルに変換することができることを示す。
このオフセットは自己アテンション中のソフトマックス正規化に暗黙的に吸収される。
CPDカーネルの多様性により、原則的に長さ外挿を可能にする様々な RPE を導出できる。
実験により、対数変種は3つの大きな言語モデリングデータセット上で優れた外挿性能を発揮することが示された。
関連論文リスト
- Position Interpolation Improves ALiBi Extrapolation [2.1454660086411796]
線形バイアス付き注意(ALiBi)を用いた外挿範囲モデルの拡張に線形位置を用いることを提案する。
上流言語モデリングおよび下流要約および検索タスクにおける外挿能力を大幅に向上させる。
論文 参考訳(メタデータ) (2023-10-18T16:41:47Z) - Kernel Random Projection Depth for Outlier Detection [0.0]
本稿では,データクラウド上の複数モードおよび非ROC性に対応するために,乱深さ曲線(RPD)データセットの拡張を提案する。
提案手法では,RCDを再生空間のフレームワークで計算する。
論文 参考訳(メタデータ) (2023-06-12T12:05:54Z) - Sample-Efficient Reinforcement Learning for POMDPs with Linear Function
Approximations [130.66193083412716]
本稿では,関数近似と部分観測可能性の緊張に対処する。
最適ポリシーと値関数は有限メモリヒルベルト・ベルマン作用素の列によって特徴づけられることを示す。
本稿では、カーネル空間(RKHS)の埋め込みを再現することで、これらの演算子の楽観的な推定値を構成するRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-04-20T21:15:38Z) - Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning
Perspective [0.8594140167290097]
マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。
我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。
我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
論文 参考訳(メタデータ) (2021-12-18T10:01:34Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Deep Deterministic Uncertainty for Semantic Segmentation [97.89295891304394]
我々は、Deep Deterministic Uncertainity (DDU) をセマンティックセグメンテーションに拡張する。
DDU は MC Dropout と Deep Ensembles を高速化し,計算速度は大幅に向上した。
論文 参考訳(メタデータ) (2021-10-29T20:45:58Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳(メタデータ) (2021-04-13T13:56:50Z) - Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures [31.986482149142503]
我々はこの質問を,強調指標を導入することで,分布視点として捉えた。
一連の非PDカーネルは、特定の有限ボレル測度の線型結合に関連付けられる。
特に、このソリューションは、大規模なサンプルケースで非PDカーネルをスケールするために、実際に計算的に実装可能である。
論文 参考訳(メタデータ) (2020-05-30T12:10:35Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。