論文の概要: Exact, Fast and Expressive Poisson Point Processes via Squared Neural Families

• arxiv url: http://arxiv.org/abs/2402.09608v1
• Date: Wed, 14 Feb 2024 22:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:43:04.369763
• Title: Exact, Fast and Expressive Poisson Point Processes via Squared Neural Families
• Title（参考訳）: 正方形神経系による精密, 高速, 表現豊かなポアソン点過程
• Authors: Russell Tsuchida and Cheng Soon Ong and Dino Sejdinovic
• Abstract要約: 2層ニューラルネットワークの2乗ノルムによる強度関数のパラメータ化により、正方形ニューラルポアソン点過程(SNEPPP)を導入する。 隠れた層が固定され、第2層が単一ニューロンを持つ場合、我々のアプローチは以前の正方形ガウス過程やカーネル法と類似している。 実および合成ベンチマークでSNEPPPを実証し、ソフトウェア実装を提供する。
• 参考スコア（独自算出の注目度）: 23.337256081314518
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce squared neural Poisson point processes (SNEPPPs) by parameterising the intensity function by the squared norm of a two layer neural network. When the hidden layer is fixed and the second layer has a single neuron, our approach resembles previous uses of squared Gaussian process or kernel methods, but allowing the hidden layer to be learnt allows for additional flexibility. In many cases of interest, the integrated intensity function admits a closed form and can be computed in quadratic time in the number of hidden neurons. We enumerate a far more extensive number of such cases than has previously been discussed. Our approach is more memory and time efficient than naive implementations of squared or exponentiated kernel methods or Gaussian processes. Maximum likelihood and maximum a posteriori estimates in a reparameterisation of the final layer of the intensity function can be obtained by solving a (strongly) convex optimisation problem using projected gradient descent. We demonstrate SNEPPPs on real, and synthetic benchmarks, and provide a software implementation. https://github.com/RussellTsuchida/snefy
• Abstract（参考訳）: 2層ニューラルネットワークの2乗ノルムによる強度関数のパラメータ化により、正方形ニューラルポアソン点過程(SNEPPP)を導入する。 隠れた層が固定され、第2の層が単一ニューロンを持つ場合、我々のアプローチは従来の正方形ガウス過程やカーネル手法に似ているが、隠れた層を学習することでさらなる柔軟性が期待できる。 興味のある場合の多くは、統合強度関数は閉じた形式を持ち、隠れたニューロンの数で二次的に計算できる。 これまでに議論されたよりもはるかに多くのケースを列挙する。 我々のアプローチは、二乗あるいは指数化されたカーネルメソッドやガウスプロセスの実装よりもメモリと時間効率が良い。 インテンシティ関数の最終層の再パラメータ化における最大確率と最大後方推定は、投影勾配降下を用いて(強く)凸最適化問題を解くことで得られる。 実および合成ベンチマークでSNEPPPを実証し、ソフトウェア実装を提供する。 https://github.com/RussellTsuchida/snefy

関連論文リスト

• Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
  我々はBrownian Kernel Neural Network (BKerNN) と呼ばれる推定器の効率的な手法を提案する。 BKerNNの予測リスクは、O(min((d/n)1/2, n-1/6)$(対数因子まで)の明示的な高い確率で最小限のリスクに収束することを示す。
  論文  参考訳（メタデータ） (2024-07-24T13:46:50Z)
• Efficient uniform approximation using Random Vector Functional Link networks [0.0]
  ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。 本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。 我々の証明法は理論と調和解析に根ざしている。
  論文  参考訳（メタデータ） (2023-06-30T09:25:03Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Sublinear scaling in non-Markovian open quantum systems simulations [0.0]
  プロセステンソルを計算する数値的精度のアルゴリズムを導入する。 我々のアプローチでは、無限メモリを持つ環境に対して$mathcalO(nlog n)$の特異値分解しか必要としない。
  論文  参考訳（メタデータ） (2023-04-11T15:40:33Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Fast Neural Kernel Embeddings for General Activations [44.665680851537005]
  本稿では,多層ニューラルネットワークガウス過程(NNGP)カーネルとニューラルタンジェントカーネル(NTK)行列を近似した高速スケッチ法を提案する。 提案手法は,CIFAR-10データセット上での5層マイトルネットワークのCNTKの高速化を実現する。
  論文  参考訳（メタデータ） (2022-09-09T05:10:39Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。