論文の概要: On the Information Capacity of Nearest Neighbor Representations
- arxiv url: http://arxiv.org/abs/2305.05808v1
- Date: Tue, 9 May 2023 23:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 15:05:56.999986
- Title: On the Information Capacity of Nearest Neighbor Representations
- Title(参考訳): 最寄りの隣接表現の情報容量について
- Authors: Kordag Mehmet Kilic, Jin Sima, Jehoshua Bruck
- Abstract要約: 脳には計算と記憶が区別できない統合アーキテクチャがある。
脳のアーキテクチャに触発され、$textitassociative calculation$のモデルを提案する。
- 参考スコア(独自算出の注目度): 21.915057426589748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The $\textit{von Neumann Computer Architecture}$ has a distinction between
computation and memory. In contrast, the brain has an integrated architecture
where computation and memory are indistinguishable. Motivated by the
architecture of the brain, we propose a model of $\textit{associative
computation}$ where memory is defined by a set of vectors in $\mathbb{R}^n$
(that we call $\textit{anchors}$), computation is performed by convergence from
an input vector to a nearest neighbor anchor, and the output is a label
associated with an anchor. Specifically, in this paper, we study the
representation of Boolean functions in the associative computation model, where
the inputs are binary vectors and the corresponding outputs are the labels ($0$
or $1$) of the nearest neighbor anchors. The information capacity of a Boolean
function in this model is associated with two quantities: $\textit{(i)}$ the
number of anchors (called $\textit{Nearest Neighbor (NN) Complexity}$) and
$\textit{(ii)}$ the maximal number of bits representing entries of anchors
(called $\textit{Resolution}$). We study symmetric Boolean functions and
present constructions that have optimal NN complexity and resolution.
- Abstract(参考訳): $\textit{von Neumann Computer Architecture}$は計算とメモリを区別する。
対照的に、脳は計算と記憶が区別できない統合アーキテクチャを持っている。
そこで、メモリは$\mathbb{r}^n$($\textit{anchors}$と呼ばれる)のベクトルの集合によって定義され、入力ベクトルから最寄りのアンカーへの収束によって計算され、出力はアンカーに関連するラベルである。
具体的には,入力が2進ベクトルであり,対応する出力が最寄りのアンカーのラベル($0$または$$$$)である連想計算モデルにおけるブール関数の表現について検討する。
このモデルにおけるブール関数の情報容量は次の2つの量に関連付けられる。
(i)}$のアンカー数($\textit{Nearest Neighbor (NN) Complexity}$)と$\textit{
(ii)}$ アンカーのエントリを表す最大ビット数($\textit{Resolution}$)。
我々は, 対称ブール関数と, NNの複雑性と分解能が最適である構成について検討する。
関連論文リスト
- Nearest Neighbor Representations of Neurons [12.221087476416056]
Nearest Neighbor(NN)表現は、脳にインスパイアされた新しい計算モデルである。
NN表現を用いたニューロン(閾値関数)の表現の複雑さについて検討した。
論文 参考訳(メタデータ) (2024-02-13T19:33:41Z) - Why should autoencoders work? [1.6317061277457001]
ディープニューラルネットワークオートエンコーダは、モデルリダクションに日常的に使用される。
このテクニックが"動作する"ことが分かり、この効果を説明する方法があるかどうかを問うことになる。
論文 参考訳(メタデータ) (2023-10-03T17:53:43Z) - Matching Map Recovery with an Unknown Number of Outliers [0.0]
我々は,2組の$d$次元雑音特徴ベクトル間のマッチング写像を求める問題を考察する。
高次元環境では、信号対雑音比が5(dlog(4nm/alpha))1/4$より大きい場合、真のマッチングマップは確率1-alpha$で復元可能であることを示す。
論文 参考訳(メタデータ) (2022-10-24T15:59:10Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳(メタデータ) (2022-06-17T17:55:43Z) - Coresets for Decision Trees of Signals [19.537354146654845]
仮にそのような行列に対して$(k,varepsilon)$-coresetを出力する最初のアルゴリズムを提供する。
これは、決定木と -- 機械学習から -- 計算幾何学における分割木の間のリンクをフォージすることで実現している。
論文 参考訳(メタデータ) (2021-10-07T05:49:55Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳(メタデータ) (2021-10-05T09:33:49Z) - Thresholded Lasso Bandit [70.17389393497125]
Thresholded Lasso banditは、報酬関数を定義するベクトルとスパースサポートを推定するアルゴリズムである。
一般には $mathcalO( log d + sqrtT )$ や $mathcalO( log d + sqrtT )$ としてスケールする非漸近的後悔の上界を確立する。
論文 参考訳(メタデータ) (2020-10-22T19:14:37Z) - RNNs can generate bounded hierarchical languages with optimal memory [113.73133308478612]
RNNは、自然言語構文の足場を反映した境界階層言語を効率的に生成できることを示す。
Dyck-($k$,$m$)は、よくネストされた括弧($k$型)と$m$バウンドされたネスト深さの言語である。
明示的な構成により,$O(m log k)$ hidden units の RNN がメモリの指数的削減に十分であることを示す。
論文 参考訳(メタデータ) (2020-10-15T04:42:29Z) - AlgebraNets [35.311476442807766]
本研究では, enwiki8 と WikiText-103 データセットを用いて代用代数学を数値表現として研究する。
我々は$mathbbC$, $mathbbH$, $M_2(mathbbR)$, $M_3(mathbbR)$, $M_4(mathbbR)$を考える。
これらの代数の乗法は実乗法よりも計算密度が高い。
論文 参考訳(メタデータ) (2020-06-12T17:51:20Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳(メタデータ) (2020-02-23T22:51:52Z) - Agnostic Q-learning with Function Approximation in Deterministic
Systems: Tight Bounds on Approximation Error and Sample Complexity [94.37110094442136]
本稿では,決定論的システムにおける関数近似を用いたQ$学習の問題について検討する。
もし$delta = Oleft(rho/sqrtdim_Eright)$なら、$Oleft(dim_Eright)$を使って最適なポリシーを見つけることができる。
論文 参考訳(メタデータ) (2020-02-17T18:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。