論文の概要: A theory of capacity and sparse neural encoding

• arxiv url: http://arxiv.org/abs/2102.10148v1
• Date: Fri, 19 Feb 2021 20:24:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 06:37:55.461431
• Title: A theory of capacity and sparse neural encoding
• Title（参考訳）: 容量とスパースニューラルエンコーディングの理論
• Authors: Pierre Baldi, Roman Vershynin
• Abstract要約: 入力層から対象層へのスパース神経マップをスパース活性で検討した。 数学的には、k が相転移を起こし、一般にターゲット層のスパーシティがマップの保存容量を増加させることを証明します。
• 参考スコア（独自算出の注目度）: 15.000818334408805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by biological considerations, we study sparse neural maps from an input layer to a target layer with sparse activity, and specifically the problem of storing $K$ input-target associations $(x,y)$, or memories, when the target vectors $y$ are sparse. We mathematically prove that $K$ undergoes a phase transition and that in general, and somewhat paradoxically, sparsity in the target layers increases the storage capacity of the map. The target vectors can be chosen arbitrarily, including in random fashion, and the memories can be both encoded and decoded by networks trained using local learning rules, including the simple Hebb rule. These results are robust under a variety of statistical assumptions on the data. The proofs rely on elegant properties of random polytopes and sub-gaussian random vector variables. Open problems and connections to capacity theories and polynomial threshold maps are discussed.
• Abstract（参考訳）: 生体的考察により,入力層から標的層へのスパースなニューラルマップを探索し,特に,ターゲットベクトルがスパースである場合,$K$入力ターゲットアソシエーションを$(x,y)$またはメモリに格納する問題について検討した。 数学的には、$K$ が相転移を受けること、そして一般に、やや逆説的に、ターゲット層のスパーシティがマップの記憶能力を高めることを証明します。 ターゲットベクトルはランダムな方法で任意に選択でき、メモリは、単純なHebbルールを含むローカル学習ルールを用いて訓練されたネットワークによって符号化および復号化される。 これらの結果は、データに対する様々な統計的仮定の下で堅牢である。 証明は、ランダム多面体と準ガウス確率ベクトル変数のエレガントな性質に依存する。 開問題とキャパシティ理論と多項式しきい値写像との関係について論じる。

関連論文リスト

• Training a neural netwok for data reduction and better generalization [7.545668088790516]
  スパース学習者の動機は、優れた一般化に必要なものだけを選択することで入力(特徴)を圧縮することである。 人工的な特徴の選択により,無関係な特徴を無視する段階から,それらを取り出す段階へ,顕著な段階的変化を示す。 このアプローチは、高次元データを意味のある罰則のコンパクトで解釈可能な部分集合に解釈するために圧縮された特徴を検知する形態であると見なすことができる。
  論文  参考訳（メタデータ） (2024-11-26T07:41:15Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Learning Narrow One-Hidden-Layer ReLU Networks [30.63086568341548]
  最初のアルゴリズムは$k$が定数であるときに成功する。 我々は、十分に近接したニューロンを一緒に崩壊させることができると主張するために、マルチスケール分析を用いる。
  論文  参考訳（メタデータ） (2023-04-20T17:53:09Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Binary autoencoder with random binary weights [0.0]
  層間情報を保存するために,隠蔽層の疎活性化が自然に起こることが示されている。 十分に大きな隠蔽層があれば、ニューロンのしきい値を変えるだけで任意の入力に対する再構成誤差をゼロにすることができる。 このモデルはフルーツフライの嗅覚システムに似ており、提示された理論的結果はより複雑なニューラルネットワークを理解する上で有用な洞察を与える。
  論文  参考訳（メタデータ） (2020-04-30T12:13:19Z)
• A Neural Scaling Law from the Dimension of the Data Manifold [8.656787568717252]
  データが豊富であれば、よく訓練されたニューラルネットワークによって達成される損失は、ネットワークパラメータの数でN-alpha$のパワーロープロットとしてスケールする。 スケーリングの法則は、ニューラルモデルが本質的に内在次元$d$のデータ多様体上で回帰を行えば説明できる。 この単純な理論は、スケーリング指数が、クロスエントロピーと平均二乗誤差損失に対して$alpha approx 4/d$となることを予測している。
  論文  参考訳（メタデータ） (2020-04-22T19:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。