論文の概要: Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty

• arxiv url: http://arxiv.org/abs/2610.08578v1
• Date: Tue, 06 Oct 2026 15:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.095656
• Title: Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty
• Title（参考訳）: Random Feature Gaussian Process Attention: Calibrated Uncertainty による線形時間確率的アテンション
• Abstract要約: トランスフォーマーは最先端のモデリングフレームワークを提供するが、キャリブレーションの貧弱さは安全クリティカルなアプリケーションにおける信頼性を制限している。 有望な方向はガウス過程 (GP) として注意を向けることでこの問題に対処し、これは原則化された不確実性キャリブレーションを可能にするが、カーネルの逆転によるシークエンス長の3次複雑さを生じさせる。 本稿では,ランダムなフーリエ特徴を近似した固定カーネルを持つGPとして注目されるRFF-GPAモジュールを提案する。
• 参考スコア（独自算出の注目度）: 6.970732991772202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers provide a state-of-the-art modeling framework, yet poor calibration limits their reliability in safety-critical applications. A promising direction addresses this issue by interpreting attention as a Gaussian process (GP) posterior, which enables principled uncertainty calibration but incurs cubic complexity in sequence length due to the inversion of the kernel; although decoupled GP variants reduced the cost to quadratic, the computation remains prohibitive in practice. In this paper, we propose the plug-and-play random Fourier feature Gaussian process attention (RFF-GPA) module, which represents the attention as a GP with a stationary kernel approximated by random Fourier features. This low-rank approximation results in linear-time complexity for approximating the posterior mean and variance, making it far more scalable compared to previous work. Empirical results on multiple real-world datasets show that our attention module improves calibration while maintaining predictive accuracy, and simultaneously reduces computational complexity to linear in the sequence length.
• Abstract（参考訳）: トランスフォーマーは最先端のモデリングフレームワークを提供するが、キャリブレーションの貧弱さは安全クリティカルなアプリケーションにおける信頼性を制限している。 有望な方向はガウス過程 (GP) として注意を向けることによってこの問題に対処し、これは原則化された不確実性キャリブレーションを可能にするが、カーネルの逆転によるシーケンス長の3次複雑さを生じさせる。 本稿では,ランダムなフーリエ特徴に近似した固定カーネルを持つGPとして注目度を表す,プラグイン・アンド・プレイのランダムなフーリエ特徴ガウシアンプロセスアテンション(RFF-GPA)モジュールを提案する。 この低ランク近似は、後方平均と分散を近似する線形時間複雑性をもたらすため、以前の研究よりもはるかにスケーラブルである。 複数の実世界のデータセットに対する実験結果から,我々の注目モジュールは予測精度を維持しながらキャリブレーションを改善し,同時に計算複雑性を減らし,列長の線形化を図っている。

関連論文リスト

• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Preconditioned Additive Gaussian Processes with Fourier Acceleration [2.292881746604941]
  本稿では,カーネル行列とその導関数の乗算において,ほぼ線形な複雑性を実現するための行列フリー手法を提案する。 高次元問題に対処するために,加法的カーネルアプローチを提案する。 各サブカーネルは低次の特徴相互作用をキャプチャし、NFFT法の効率的な適用を可能にする。
  論文  参考訳（メタデータ） (2025-04-01T07:14:06Z)
• Calibrated Computation-Aware Gaussian Processes [1.1470070927586018]
  本稿では,ガウス・シーデルの繰り返しを基礎となる確率線形解法に用いた新しいCAGPフレームワークCAGP-GSを提案する。 合成問題に対する校正性を検証し, 大規模大域温度回帰問題に対する既存手法との比較を行った。
  論文  参考訳（メタデータ） (2024-10-11T13:30:08Z)
• Random Fourier Signature Features [8.766411351797885]
  代数はシグネチャカーネルと呼ばれる任意の長さの列の類似性の最も強力な尺度の1つを生み出す。 署名カーネルのスケールを、配列の長さと数で2次的に計算する以前のアルゴリズム。 本研究では,非ユークリッド領域に作用するシグネチャカーネルのランダムなフーリエ特徴量に基づくアクセラレーションを開発する。
  論文  参考訳（メタデータ） (2023-11-20T22:08:17Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。