Fugu-MT 論文翻訳(概要): Nearest Neighbor Representations of Neural Circuits

論文の概要: Nearest Neighbor Representations of Neural Circuits

arxiv url: http://arxiv.org/abs/2402.08751v2
Date: Thu, 9 May 2024 18:29:36 GMT
ステータス: 処理完了
システム内更新日: 2024-05-13 18:15:12.842512
Title: Nearest Neighbor Representations of Neural Circuits
Title（参考訳）: ニューラルサーキットの近傍表現
Authors: Kordag Mehmet Kilic, Jin Sima, Jehoshua Bruck,
Abstract要約: Nearest Neighbor (NN)表現は計算の新しいアプローチである。我々は、そのNN表現に対して、ビット数に明示的な境界を持つ明示的な構成を提供する。例えば、凸多面体のNN表現(閾値ゲートのAND)、IP2、閾値ゲートのOR、線形または正確な決定リストなどがある。
参考スコア（独自算出の注目度）: 12.221087476416056
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural networks successfully capture the computational power of the human brain for many tasks. Similarly inspired by the brain architecture, Nearest Neighbor (NN) representations is a novel approach of computation. We establish a firmer correspondence between NN representations and neural networks. Although it was known how to represent a single neuron using NN representations, there were no results even for small depth neural networks. Specifically, for depth-2 threshold circuits, we provide explicit constructions for their NN representation with an explicit bound on the number of bits to represent it. Example functions include NN representations of convex polytopes (AND of threshold gates), IP2, OR of threshold gates, and linear or exact decision lists.
Abstract（参考訳）: ニューラルネットワークは多くのタスクで人間の脳の計算力を捉えた。同様に脳アーキテクチャにインスパイアされたNearest Neighbor(NN)表現は、計算の新しいアプローチである。 NN表現とニューラルネットワークの密接な対応を確立する。 NN表現を用いた単一ニューロンの表現法は知られていたが,小深度ニューラルネットワークにおいても結果は得られなかった。具体的には、ディープ2しきい値回路に対して、その表現するビット数に明示的に拘束されたNN表現に対して明示的な構成を提供する。例えば、凸多面体のNN表現(閾値ゲートのAND)、IP2、閾値ゲートのOR、線形または正確な決定リストなどがある。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Nearest Neighbor Representations of Neurons [12.221087476416056]
Nearest Neighbor(NN)表現は、脳にインスパイアされた新しい計算モデルである。 NN表現を用いたニューロン(閾値関数)の表現の複雑さについて検討した。
論文参考訳（メタデータ） (2024-02-13T19:33:41Z)
Towards an Algebraic Framework For Approximating Functions Using Neural Network Polynomials [0.589889361990138]
ニューラルネットワークオブジェクトのケースを作成し,すでに存在するニューラルネットワーク計算を拡張して,第2章で詳しく解説する。私たちの目標は、確かに、ニューラルネットワーク、ニューラルネットワーク指数、シネ、コサインについて話すことは理にかなっており、特定のパラメータ、$q$、$varepsilon$の制限を受ける実数と実際に近似しているという意味では理にかなっていることです。
論文参考訳（メタデータ） (2024-02-01T23:06:50Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-06-13T06:11:21Z)
Fourier Neural Networks for Function Approximation [2.840363325289377]
ニューラルネットワークが普遍近似器であることは広く証明されている。特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
論文参考訳（メタデータ） (2021-10-21T09:30:26Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)
Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文参考訳（メタデータ） (2020-06-20T16:23:32Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)
On Tractable Representations of Binary Neural Networks [23.50970665150779]
我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
論文参考訳（メタデータ） (2020-04-05T03:21:26Z)
Neural Arithmetic Units [84.65228064780744]
ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
論文参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。