Fugu-MT 論文翻訳(概要): Fast Gauss Sums via Flash Attention

論文の概要: Fast Gauss Sums via Flash Attention

arxiv url: http://arxiv.org/abs/2609.04910v1
Date: Fri, 04 Sep 2026 09:11:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:23.991629
Title: Fast Gauss Sums via Flash Attention
Title（参考訳）: FlashアテンションによるFast Gaussの要約
Abstract要約: 任意の符号付き重み付きガウスカーネル和がフラッシュアテンションにより評価可能であることを示す。 fp16における特徴次元D>8の場合、このアプローチはコンパイル済みのPyTorchコードを高速、メモリオーバヘッド、精度で上回る。
参考スコア（独自算出の注目度）: 2.6498598849144464
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gaussian kernel sums are the computational core of maximum mean discrepancies (MMDs), kernel gradient flows, Stein variational gradient descent (SVGD), and many other kernel methods. At the same time, softmax attention has received an extraordinary amount of hardware-aware code engineering, culminating in flash attention. We show that Gauss kernel sums with arbitrary, signed weights can be evaluated via flash attention: two small input augmentations turn the normalized softmax reduction into the unnormalized Gauss sum, without writing a single line of custom GPU code. For feature dimension D>8 in fp16, this approach beats compiled PyTorch code as well as PyKeOps kernels (often significantly) in speed, memory-overhead and accuracy. Indeed, its memory scaling remains linear.
Abstract（参考訳）: ガウスのカーネル和は、最大平均誤差(MMD)、カーネル勾配流、スタイン変動勾配勾配(SVGD)、その他多くのカーネルメソッドの計算コアである。同時に、ソフトマックスの注目は、非常に多くのハードウェア対応のコードエンジニアリングを受け、フラッシュアテンションを極めた。任意の符号付き重み付きガウスカーネル和は、フラッシュアテンションにより評価可能であることを示す: 2つの小さな入力拡張は、正規化されたソフトマックス還元を1行のカスタムGPUコードを記述することなく、正規化されたガウス和に変換する。 fp16のフィーチャーディメンションD>8では、コンパイル済みのPyTorchコードと(多くの場合)PyKeOpsカーネルを(スピード、メモリオーバヘッド、精度で)上回る。実際、そのメモリスケーリングはリニアである。

関連論文リスト

TideGS: Scalable Training of Over One Billion 3D Gaussian Splatting Primitives via Out-of-Core Optimization [19.191940595279206]
数十億ドル規模の3DGSのトレーニングは、基本的にメモリバウンドである。 TideGSは、SSD-CPU-GPU階層間のパラメータを管理する、アウトオブコアのトレーニングフレームワークである。 TideGSは、24GBのGPUで10億以上のガウスのトレーニングを可能にする。
論文参考訳（メタデータ） (2026-05-19T17:40:59Z)
ReSplat: Learning Recurrent Gaussian Splats [98.14472247275512]
ReSplatはフィードフォワードリカレントガウシアンスプラッティングモデルであり、明示的に勾配を計算せずに3Dガウシアンを反復的に洗練する。我々は16倍のサブサンプル空間で動作するコンパクトな再構成モデルを導入し、以前のピクセルごとのガウスモデルよりも16倍のガウスモデルを生成する。提案手法は,ガウス数を大幅に削減し,レンダリング速度を向上させるとともに,最先端の性能を実現する。
論文参考訳（メタデータ） (2025-10-09T17:59:59Z)
Graph Random Features for Scalable Gaussian Processes [52.89901965157282]
離散入力空間上のスケーラブルなガウス過程へのグラフランダム特徴(GRF)の適用について検討する。我々は、(穏やかな仮定の下で) GRF に対するベイズ的推論が、正確なカーネルに対して$O(N3)$のノード数に対して$O(N3/2)$の時間複雑性を楽しむことを証明した。
論文参考訳（メタデータ） (2025-09-03T20:13:23Z)
1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering [60.676919690136096]
最新のシーンGPU上で1000FPS以上で動作する textbf4DGS-1K を提案する。 Q1では,短寿命ガウスを効果的に除去する新しいプルーニング基準である空間時間変動スコアを導入する。 Q2では、連続するフレーム間でアクティブなガウスのマスクを格納し、レンダリングにおける冗長な計算を著しく削減する。
論文参考訳（メタデータ） (2025-03-20T17:59:44Z)
A User's Guide to $\ exttt{KSig}$: GPU-Accelerated Computation of the Signature Kernel [12.111848705677138]
シグネチャカーネルは、シーケンシャルおよびテンポラルデータのための正定カーネルである。この章では、署名カーネルを演算するためのGPUアクセラレーションアルゴリズムを実装した、$textttKSig$、$textttScikit-Learn$互換Pythonパッケージについて短い紹介を行う。
論文参考訳（メタデータ） (2025-01-13T09:11:13Z)
Fast Evaluation of Additive Kernels: Feature Arrangement, Fourier Methods, and Kernel Derivatives [0.5735035463793009]
厳密な誤り解析を伴う非等間隔高速フーリエ変換(NFFT)に基づく手法を提案する。また,本手法は,カーネルの分化に伴う行列の近似に適していることを示す。複数のデータセット上で高速な行列ベクトル積を持つ付加的カーネルスキームの性能について述べる。
論文参考訳（メタデータ） (2024-04-26T11:50:16Z)
Variable Hyperparameterized Gaussian Kernel using Displaced Squeezed Vacuum State [2.1408617023874443]
多モードコヒーレント状態は、ハイパーパラメータの定数値を持つガウス核を生成することができる。この定数ハイパーパラメータは、複雑な学習問題に適用されるときにガウスカーネルの適用を制限する。マルチモード変位真空状態の可変ハイパーパラメータ化カーネルを実現する。
論文参考訳（メタデータ） (2024-03-18T08:25:56Z)
B\'ezier Gaussian Processes for Tall and Wide Data [24.00638575411818]
入力機能の数に応じて指数関数的に変数の総和が増大するカーネルを導入する。我々のカーネルはガウス過程の回帰において最もよく使われるカーネルのいくつかとよく似ていることを示す。
論文参考訳（メタデータ） (2022-09-01T10:22:14Z)
Giga-scale Kernel Matrix Vector Multiplication on GPU [19.663081364196778]
Kernel matrix-vector multiplication (KMVM) は、機械学習と科学計算の基礎となる演算である。 KMVMはメモリと時間の両方で二次的にスケールする傾向があるため、アプリケーションはしばしばこれらの計算制約によって制限される。本稿では,これらのスケーリング問題に対処するため,textitFaster-Fast and Free Memory Method(f30,000m$)という新しい近似手法を提案する。
論文参考訳（メタデータ） (2022-02-02T15:28:15Z)
Gaussian Process Bandit Optimization with Few Batches [49.896920704012395]
有限腕バンディットアルゴリズムにインスパイアされたバッチアルゴリズムを導入する。 O(log T)$ batches in time horizon $T$.sqrtTgamma_T)$ using $O(log T)$ batches in time horizon。さらに,アルゴリズムの修正版を提案し,バッチ数によって後悔がどう影響するかを特徴付ける。
論文参考訳（メタデータ） (2021-10-15T00:54:04Z)
Fast Sketching of Polynomial Kernels of Polynomial Degree [61.83993156683605]
他のカーネルはしばしばテイラー級数展開を通じてカーネルによって近似されるので、カーネルは特に重要である。スケッチの最近の技術は、カーネルの$q$という難解な程度に実行時間に依存することを減らしている。我々は、この実行時間を大幅に改善する新しいスケッチを、先頭の注文項で$q$への依存を取り除くことで提供します。
論文参考訳（メタデータ） (2021-08-21T02:14:55Z)
Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。