論文の概要: LAPLEX: The FFT of Learnable Laplace Kernels
- arxiv url: http://arxiv.org/abs/2605.24584v1
- Date: Sat, 23 May 2026 13:48:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.259629
- Title: LAPLEX: The FFT of Learnable Laplace Kernels
- Title(参考訳): LAPLEX:学習可能なラプラスカーネルのFFT
- Authors: Łukasz Struski, Hanna Blazhko, Piotr Kubaty, Jacek Tabor,
- Abstract要約: LAPLEXは、正確に訓練可能な(フェーズ化された)ラプラスカーネル演算子のクラスである。
LAPLEX層は一般にフルランクの密度行列であり、学習可能な座標アンカーによって暗黙的に定義される。
神経層として、コンパクトなプロジェクションと分類ヘッドをソフトで訓練可能なルーティングモデルとして解釈できる。
これらの応用は1つの原理を反映しており、密度行列を保存せずに密度幾何学を学習することができる。
- 参考スコア(独自算出の注目度): 9.114051379014429
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fast linear algebra in deep learning usually comes with a choice: fixed geometry and exact computation, as in the Fourier transform, or adaptive geometry paid for by dense parameters, random features, or low-rank surrogates. To move beyond this trade-off, we introduce LAPLEX, a class of exact, trainable (phased) Laplace-kernel operators. A LAPLEX layer is a typically full-rank dense matrix, implicitly defined by learnable coordinate anchors, with FFT-like scaling. Consequently, it supports trainable matrix--vector operations at vector dimensions up to $10^9$ on modern GPUs. As a neural layer, it yields compact projections and classification heads interpretable as soft, trainable routing models. The same primitive also serves as an efficient Gram operator, enabling high-dimensional covariance models on flattened images of dimension $3 \cdot 10^6$ that preserve visible spatial structure without imposing convolutional bias. These applications reflect a single principle: dense geometry can be learned without storing a dense matrix, which enables data-adaptive global interactions in regimes where ordinary dense layers are out of reach. In this sense, LAPLEX separates expressivity from storage cost: it behaves like a dense trainable matrix, but is represented and applied through a small structured set of parameters.
- Abstract(参考訳): ディープラーニングにおける高速線型代数は、フーリエ変換のように、固定幾何と正確な計算、あるいは高密度パラメータ、ランダムな特徴、低ランクなサロゲートによって支払われる適応幾何という選択肢がある。
このトレードオフを超えて、正確な(フェーズ化された)ラプラスカーネル演算子のクラスであるLAPLEXを導入する。
LAPLEX層は一般にフルランクの密度行列であり、学習可能な座標アンカーによって暗黙的に定義される。
これにより、現代のGPUで最大10^9$のベクトル次元でのトレーニング可能な行列ベクトル演算をサポートする。
神経層として、コンパクトなプロジェクションと分類ヘッドをソフトで訓練可能なルーティングモデルとして解釈する。
同じプリミティブは効率のよいグラム演算子としても機能し、畳み込みバイアスを伴わずに可視空間構造を保たせる3$10^6$の平坦な画像上の高次元共分散モデルを可能にする。
これらの応用は1つの原則を反映しており、密度行列を格納せずに密度幾何学を学習することができ、通常の密度層が到達できない状態において、データ適応的なグローバルな相互作用を可能にする。
この意味で、LAPLEXは表現力と記憶コストを分離し、密度の高いトレーニング可能な行列のように振る舞うが、小さな構造化されたパラメータを通して表現され、適用される。
関連論文リスト
- Attention Is Not What You Need [0.0]
標準的なマルチヘッドアテンションはテンソルリフトの一形態と見なされる。
本稿では,グラスマンフローに基づく無注意アーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-12-22T14:29:18Z) - Geometric Operator Learning with Optimal Transport [77.16909146519227]
複素測地上での偏微分方程式(PDE)に対する演算子学習に最適輸送(OT)を統合することを提案する。
表面に焦点を当てた3次元シミュレーションでは、OTベースのニューラルオペレーターが表面形状を2次元パラメータ化潜在空間に埋め込む。
ShapeNet-Car と DrivAerNet-Car を用いたレイノルズ平均化 Navier-Stokes 方程式 (RANS) を用いた実験により,提案手法は精度の向上と計算コストの削減を図った。
論文 参考訳(メタデータ) (2025-07-26T21:28:25Z) - Position: Curvature Matrices Should Be Democratized via Linear Operators [6.946287154076936]
線形演算子は、曲率行列を扱う汎用的でスケーラブルでユーザフレンドリな抽象化を提供する。
$textitcurvlinops$は、統一された線形演算子インターフェイスを通じて曲率行列を提供するライブラリである。
私たちは$textitcurvlinops$で、このインターフェースがいかに複雑さを隠蔽し、アプリケーションを単純化し、他のライブラリと相互運用可能で、大規模なNNにスケールするかを示します。
論文 参考訳(メタデータ) (2025-01-31T14:46:30Z) - TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳(メタデータ) (2025-01-04T20:51:51Z) - Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。
また,GA-Planeは既存の表現にも適用可能であることを示す。
論文 参考訳(メタデータ) (2024-11-20T18:21:58Z) - Weight-based Decomposition: A Case for Bilinear MLPs [0.0]
GLU(Gated Linear Units)は、現代の基礎モデルにおいて一般的なビルディングブロックとなっている。
Bilinear 層は "gate" の非線形性を低下させるが、他の GLU に匹敵する性能を持つ。
双線型テンソルを相互作用する固有ベクトルの集合に分解する手法を開発する。
論文 参考訳(メタデータ) (2024-06-06T10:46:51Z) - Low-Rank Tensor Function Representation for Multi-Dimensional Data
Recovery [52.21846313876592]
低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。
テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。
提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
論文 参考訳(メタデータ) (2022-12-01T04:00:38Z) - NOMAD: Nonlinear Manifold Decoders for Operator Learning [17.812064311297117]
関数空間における教師付き学習は、機械学習研究の新たな領域である。
関数空間における非線形部分多様体の有限次元表現を学習できる非線形デコーダマップを備えた新しい演算子学習フレームワークであるNOMADについて述べる。
論文 参考訳(メタデータ) (2022-06-07T19:52:44Z) - SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
完全に接続されたネットワークはユビキタスだが解釈不能である。
本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
論文 参考訳(メタデータ) (2021-11-20T16:18:00Z) - Learning with Density Matrices and Random Features [44.98964870180375]
密度行列は、量子系の統計状態を記述する。
量子系の量子的不確実性と古典的不確実性の両方を表現することは強力な形式主義である。
本稿では,機械学習モデルのビルディングブロックとして密度行列をどのように利用できるかを検討する。
論文 参考訳(メタデータ) (2021-02-08T17:54:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。