論文の概要: Neural networks behave as hash encoders: An empirical study

• arxiv url: http://arxiv.org/abs/2101.05490v1
• Date: Thu, 14 Jan 2021 07:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 00:58:58.657053
• Title: Neural networks behave as hash encoders: An empirical study
• Title（参考訳）: ニューラルネットワークはハッシュエンコーダとして振る舞う:実証的研究
• Authors: Fengxiang He, Shiye Lei, Jianmin Ji, Dacheng Tao
• Abstract要約: ReLUライクなアクティベーションを持つニューラルネットワークの入力空間は、複数の線形領域に分割される。 このパーティションは、さまざまなディープラーニングモデルで以下のエンコーディング特性を示すことを実証します。 K$-Means、$K$-NN、およびロジスティック回帰などの単純なアルゴリズムは、トレーニングデータとテストデータの両方でかなり優れたパフォーマンスを達成できます。
• 参考スコア（独自算出の注目度）: 79.38436088982283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The input space of a neural network with ReLU-like activations is partitioned into multiple linear regions, each corresponding to a specific activation pattern of the included ReLU-like activations. We demonstrate that this partition exhibits the following encoding properties across a variety of deep learning models: (1) {\it determinism}: almost every linear region contains at most one training example. We can therefore represent almost every training example by a unique activation pattern, which is parameterized by a {\it neural code}; and (2) {\it categorization}: according to the neural code, simple algorithms, such as $K$-Means, $K$-NN, and logistic regression, can achieve fairly good performance on both training and test data. These encoding properties surprisingly suggest that {\it normal neural networks well-trained for classification behave as hash encoders without any extra efforts.} In addition, the encoding properties exhibit variability in different scenarios. {Further experiments demonstrate that {\it model size}, {\it training time}, {\it training sample size}, {\it regularization}, and {\it label noise} contribute in shaping the encoding properties, while the impacts of the first three are dominant.} We then define an {\it activation hash phase chart} to represent the space expanded by {model size}, training time, training sample size, and the encoding properties, which is divided into three canonical regions: {\it under-expressive regime}, {\it critically-expressive regime}, and {\it sufficiently-expressive regime}. The source code package is available at \url{https://github.com/LeavesLei/activation-code}.
• Abstract（参考訳）: relu様のアクティベーションを持つニューラルネットワークの入力空間を複数の線形領域に分割し、それぞれに含まれるrelu様アクティベーションの特定のアクティベーションパターンに対応する。 1) 決定性: ほぼすべての線形領域は、少なくとも1つのトレーニング例を含む。 したがって、ほとんどすべてのトレーニング例を、一意なアクティベーションパターンで表現することができ、これは {\it neural code} によってパラメータ化されます。 (2) {\it カテゴリ化}: ニューラルネットワークによると、$k$-means、$k$-nn、ロジスティックレグレッションのような単純なアルゴリズムは、トレーニングとテストデータの両方において、かなり優れたパフォーマンスを達成できます。 これらのエンコーディング特性は、"it normal neural network well-trained for classification") が、余分な努力なしにハッシュエンコーダとして振る舞うことを驚くほど示唆している。 さらに、符号化特性は異なるシナリオで可変性を示す。 さらなる実験により、 {\it model size}、 {\it training hours}、 {\it training sample size}、 {\it regularization}、 {\it label noise} は符号化特性の形成に寄与するが、最初の3つの影響は支配的であることが示されている。 次に, {model size} で拡張された空間,トレーニング時間,サンプルサイズ,符号化特性を表す「itアクティベーションハッシュ位相図」を定義し,これらを「it under-expressive regime」,「it critically-expressive regime」,「it enough-expressive regime」の3つの正準領域に分けた。 ソースコードパッケージは \url{https://github.com/LeavesLei/activation-code} で入手できる。

関連論文リスト

• Batch Normalization Decomposed [21.226713936233423]
  バッチ正規化を有するニューラルネットワーク層は、ネットワークによって誘導される表現に影響を与える3つのコンポーネントを含む。 本稿では、バッチ正規化を伴うネットワークの他の2つの重要なコンポーネント、すなわち、最新化と非線形性について分析する。
  論文  参考訳（メタデータ） (2024-12-03T21:18:27Z)
• Codebook Features: Sparse and Discrete Interpretability for Neural Networks [43.06828312515959]
  ニューラルネットワークが、疎く、離散的で、より解釈可能な隠された状態を持つように訓練できるかどうかを探る。 コードブックの特徴は、各層にベクトル量子化ボトルネックを持つニューラルネットワークを微調整することによって生成される。 ニューラルネットワークは、パフォーマンスをわずかに低下させるだけで、この極端なボトルネックの下で動作できることがわかりました。
  論文  参考訳（メタデータ） (2023-10-26T08:28:48Z)
• Distributive Pre-Training of Generative Modeling Using Matrix-Product States [0.0]
  本稿では,基本的なテンソルネットワーク操作,例えば和と圧縮を利用した代替的なトレーニング手法を検討する。 トレーニングアルゴリズムは、製品状態表現におけるすべてのトレーニングデータから構築された重ね合わせ状態を圧縮する。 MNISTデータセット上でアルゴリズムをベンチマークし、新しい画像と分類タスクを生成するための妥当な結果を示す。
  論文  参考訳（メタデータ） (2023-06-26T15:46:08Z)
• A Self-Encoder for Learning Nearest Neighbors [5.297261090056809]
  自己エンコーダは、データサンプルを埋め込み空間に分散して、互いに線形に分離できるように学習する。 通常の隣人とは異なり、このデータの符号化による予測は、あらゆる機能のスケーリングに不変である。
  論文  参考訳（メタデータ） (2023-06-25T14:30:31Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
  ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。 従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
  論文  参考訳（メタデータ） (2022-02-16T21:24:54Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)
• Prediction of wall-bounded turbulence from wall quantities using convolutional neural networks [0.0]
  完全畳み込みニューラルネットモデルを用いて,壁面正規位置の流速場を予測する。 様々なネットワークが3つの内部スケールの場所で予測するために訓練されている。
  論文  参考訳（メタデータ） (2019-12-30T15:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。