論文の概要: On the Information Capacity of Nearest Neighbor Representations
- arxiv url: http://arxiv.org/abs/2305.05808v1
- Date: Tue, 9 May 2023 23:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 15:05:56.999986
- Title: On the Information Capacity of Nearest Neighbor Representations
- Title（参考訳）: 最寄りの隣接表現の情報容量について
- Authors: Kordag Mehmet Kilic, Jin Sima, Jehoshua Bruck
- Abstract要約: 脳には計算と記憶が区別できない統合アーキテクチャがある。
脳のアーキテクチャに触発され、$textitassociative calculation$のモデルを提案する。
- 参考スコア（独自算出の注目度）: 21.915057426589748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The $\textit{von Neumann Computer Architecture}$ has a distinction between
computation and memory. In contrast, the brain has an integrated architecture
where computation and memory are indistinguishable. Motivated by the
architecture of the brain, we propose a model of $\textit{associative
computation}$ where memory is defined by a set of vectors in $\mathbb{R}^n$
(that we call $\textit{anchors}$), computation is performed by convergence from
an input vector to a nearest neighbor anchor, and the output is a label
associated with an anchor. Specifically, in this paper, we study the
representation of Boolean functions in the associative computation model, where
the inputs are binary vectors and the corresponding outputs are the labels ($0$
or $1$) of the nearest neighbor anchors. The information capacity of a Boolean
function in this model is associated with two quantities: $\textit{(i)}$ the
number of anchors (called $\textit{Nearest Neighbor (NN) Complexity}$) and
$\textit{(ii)}$ the maximal number of bits representing entries of anchors
(called $\textit{Resolution}$). We study symmetric Boolean functions and
present constructions that have optimal NN complexity and resolution.
- Abstract（参考訳）: $\textit{von Neumann Computer Architecture}$は計算とメモリを区別する。
対照的に、脳は計算と記憶が区別できない統合アーキテクチャを持っている。
そこで、メモリは$\mathbb{r}^n$($\textit{anchors}$と呼ばれる)のベクトルの集合によって定義され、入力ベクトルから最寄りのアンカーへの収束によって計算され、出力はアンカーに関連するラベルである。
具体的には,入力が2進ベクトルであり,対応する出力が最寄りのアンカーのラベル($0$または$$$$)である連想計算モデルにおけるブール関数の表現について検討する。
このモデルにおけるブール関数の情報容量は次の2つの量に関連付けられる。
(i)}$のアンカー数($\textit{Nearest Neighbor (NN) Complexity}$)と$\textit{
(ii)}$ アンカーのエントリを表す最大ビット数($\textit{Resolution}$)。
我々は, 対称ブール関数と, NNの複雑性と分解能が最適である構成について検討する。
関連論文リスト
- On computational complexity of unitary and state design properties [2.06242362470764]
計算複雑性理論の観点から、ユニタリおよび状態 $t$-designs について研究する。
フレームポテンシャルを計算し、1つの正確な計算が可能であることを示す量子アルゴリズムを提案する。
この結果から,単元設計と状態設計の計算的難易度が示唆された。
論文 参考訳（メタデータ） (2024-10-30T18:00:35Z) - The Communication Complexity of Approximating Matrix Rank [50.6867896228563]
この問題は通信複雑性のランダム化を$Omega(frac1kcdot n2log|mathbbF|)$とする。
アプリケーションとして、$k$パスを持つ任意のストリーミングアルゴリズムに対して、$Omega(frac1kcdot n2log|mathbbF|)$スペースローバウンドを得る。
論文 参考訳（メタデータ） (2024-10-26T06:21:42Z) - Approximation of the Proximal Operator of the $\ell_\infty$ Norm Using a Neural Network [1.7265013728931]
ニューラルネットワークを用いて,$textbfprox_alphacdot||infty(mathbfx)$を近似する。
ネットワークの新たな側面は、特徴選択プロセスにより、様々な長さのベクトルを受け入れることができることである。
特徴選択を使用しない「バニラニューラルネットワーク」よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-08-20T22:12:30Z) - Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations [40.77319247558742]
目的関数 $f_*:mathbbRdtomathbbR$ を加法構造で学習する際の計算複雑性について検討する。
2層ニューラルネットワークの勾配学習により,$f_*$の大規模なサブセットを効率的に学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-17T17:59:17Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Nearest Neighbor Representations of Neurons [12.221087476416056]
Nearest Neighbor(NN)表現は、脳にインスパイアされた新しい計算モデルである。
NN表現を用いたニューロン(閾値関数)の表現の複雑さについて検討した。
論文 参考訳（メタデータ） (2024-02-13T19:33:41Z) - Why should autoencoders work? [1.6317061277457001]
ディープニューラルネットワークオートエンコーダは、モデルリダクションに日常的に使用される。
このテクニックが"動作する"ことが分かり、この効果を説明する方法があるかどうかを問うことになる。
論文 参考訳（メタデータ） (2023-10-03T17:53:43Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - RNNs can generate bounded hierarchical languages with optimal memory [113.73133308478612]
RNNは、自然言語構文の足場を反映した境界階層言語を効率的に生成できることを示す。
Dyck-($k$,$m$)は、よくネストされた括弧($k$型)と$m$バウンドされたネスト深さの言語である。
明示的な構成により,$O(m log k)$ hidden units の RNN がメモリの指数的削減に十分であることを示す。
論文 参考訳（メタデータ） (2020-10-15T04:42:29Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z) - Agnostic Q-learning with Function Approximation in Deterministic
Systems: Tight Bounds on Approximation Error and Sample Complexity [94.37110094442136]
本稿では,決定論的システムにおける関数近似を用いたQ$学習の問題について検討する。
もし$delta = Oleft(rho/sqrtdim_Eright)$なら、$Oleft(dim_Eright)$を使って最適なポリシーを見つけることができる。
論文 参考訳（メタデータ） (2020-02-17T18:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。