論文の概要: Kernel similarity matching with Hebbian neural networks

• arxiv url: http://arxiv.org/abs/2204.07475v1
• Date: Fri, 15 Apr 2022 14:21:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 12:53:22.072108
• Title: Kernel similarity matching with Hebbian neural networks
• Title（参考訳）: Hebbian Neural Networkを用いたカーネル類似性マッチング
• Authors: Kyle Luther, H. Sebastian Seung
• Abstract要約: 最近の研究は、カーネル類似性マッチングを実行するために、オンライン相関に基づく学習ルールを持つニューラルネットワークを導出した。 我々のアルゴリズムは、出力と入力カーネルの類似性の間の2乗誤差の和の上限を導出し、最小化する。 高次元線形分離可能な表現を生成することに加え、上界は特定の入力パターンに対してスパースで選択的な表現を自然に生成することを示す。
• 参考スコア（独自算出の注目度）: 4.209801809583906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have derived neural networks with online correlation-based learning rules to perform \textit{kernel similarity matching}. These works applied existing linear similarity matching algorithms to nonlinear features generated with random Fourier methods. In this paper attempt to perform kernel similarity matching by directly learning the nonlinear features. Our algorithm proceeds by deriving and then minimizing an upper bound for the sum of squared errors between output and input kernel similarities. The construction of our upper bound leads to online correlation-based learning rules which can be implemented with a 1 layer recurrent neural network. In addition to generating high-dimensional linearly separable representations, we show that our upper bound naturally yields representations which are sparse and selective for specific input patterns. We compare the approximation quality of our method to neural random Fourier method and variants of the popular but non-biological "Nystr{\"o}m" method for approximating the kernel matrix. Our method appears to be comparable or better than randomly sampled Nystr{\"o}m methods when the outputs are relatively low dimensional (although still potentially higher dimensional than the inputs) but less faithful when the outputs are very high dimensional.
• Abstract（参考訳）: 最近の研究は、オンライン相関ベースの学習ルールを持つニューラルネットワークを導出して、 \textit{kernel similarity matching}を実行する。 これらの研究は、ランダムフーリエ法で生成された非線形特徴に既存の線形類似性マッチングアルゴリズムを適用した。 本稿では,非線形特徴を直接学習することにより,カーネル類似性マッチングを行う。 我々のアルゴリズムは、出力と入力カーネルの類似性の間の2乗誤差の和の上限を導出し、最小化する。 上位境界の構築は、オンラインの相関に基づく学習ルールにつながり、1層の繰り返しニューラルネットワークで実装できる。 高次元線形分離表現を生成することに加え、上界が特定の入力パターンに対してスパースで選択的な表現を自然に得ることを示す。 提案手法の近似品質をニューラルランダムフーリエ法と比較し, カーネル行列を近似する「Nystr{\"o}m"法」の変種と比較した。 我々の手法は、出力が比較的低次元である場合(ただし、入力よりも高次元である場合)にランダムにサンプリングされたNystr{\"o}m法と同等かそれ以上であるように見えるが、出力が非常に高次元である場合には忠実でない。

関連論文リスト

• Nonlinear subspace clustering by functional link neural networks [20.972039615938193]
  フィードフォワードニューラルネットワークに基づくサブスペースクラスタリングは、いくつかの高度なサブスペースクラスタリングアルゴリズムよりも優れたクラスタリング精度を提供することを示した。 我々は,データサンプルを非線形領域に変換するために,関数型リンクニューラルネットワークを用いる。 本稿では,線形サブスペースクラスタリング手法と関数型リンクニューラルネットワークサブスペースクラスタリング手法を組み合わせた凸結合サブスペースクラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-03T06:01:21Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Towards Neural Sparse Linear Solvers [0.0]
  本研究では, 疎対称線形系の近似解法を学習するために, ニューラルスパース線形解法を提案する。 我々の手法はスパース対称線形系を無向重み付きグラフとして表現することに依存する。 構造工学からの静的線形解析問題に対して,スパース線形解法を検証した。
  論文  参考訳（メタデータ） (2022-03-14T09:17:02Z)
• Neural Fields as Learnable Kernels for 3D Reconstruction [101.54431372685018]
  本稿では,学習したカーネルリッジの回帰に基づいて,暗黙の3次元形状を再構成する手法を提案する。 本手法は,3次元オブジェクトと大画面をスパース指向の点から再構成する際の最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:04Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Efficient Nonlinear RX Anomaly Detectors [7.762712532657168]
  異常検出のための標準カーネルReed-Xiaoli(RX)の効率向上のための2種類の手法を提案する。 その結果,提案手法は計算コストが低く,標準カーネルrxアルゴリズムと同様の性能(性能)を持つことがわかった。
  論文  参考訳（メタデータ） (2020-12-07T21:57:54Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification [3.6144103736375857]
  論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。 提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。 提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
  論文  参考訳（メタデータ） (2020-06-14T20:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。