論文の概要: Generative Kaleidoscopic Networks

• arxiv url: http://arxiv.org/abs/2402.11793v1
• Date: Mon, 19 Feb 2024 02:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 18:41:23.594479
• Title: Generative Kaleidoscopic Networks
• Title（参考訳）: 生成型カレイドスコープネットワーク
• Authors: Harsh Shrivastava
• Abstract要約: 我々は、このDeep ReLUネットワークの特性を利用して、"Geneidoscopic Kaleidoscopic Networks"と呼ばれるカレイドスコープを設計する。 我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
• 参考スコア（独自算出の注目度）: 2.321684718906739
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We discovered that the Deep ReLU networks (or Multilayer Perceptron architecture) demonstrate an 'over-generalization' phenomenon. That is, the output values for the inputs that were not seen during training are mapped close to the output range that were observed during the learning process. In other words, the MLP learns a many-to-one mapping and this effect is more prominent as we increase the number of layers or depth of the MLP. We utilize this property of Deep ReLU networks to design a dataset kaleidoscope, termed as 'Generative Kaleidoscopic Networks'. Briefly, if we learn a MLP to map from input $x\in\mathbb{R}^D$ to itself $f_\mathcal{N}(x)\rightarrow x$, the 'Kaleidoscopic sampling' procedure starts with a random input noise $z\in\mathbb{R}^D$ and recursively applies $f_\mathcal{N}(\cdots f_\mathcal{N}(z)\cdots )$. After a burn-in period duration, we start observing samples from the input distribution and we found that deeper the MLP, higher is the quality of samples recovered. Scope: We observed this phenomenon to various degrees for the other deep learning architectures like CNNs, Transformers & U-Nets and we are currently investigating them further.
• Abstract（参考訳）: 深層reluネットワーク(または多層パーセプトロンアーキテクチャ)が「超一般化」現象を示すことを発見した。 すなわち、トレーニング中に観測されなかった入力の出力値を、学習プロセス中に観測された出力範囲の近くにマッピングする。 言い換えれば、MLPは多対一マッピングを学習し、MLPの層数や深さを増やすことにより、この効果はより顕著である。 深層reluネットワークの特性を利用して,「生成的カレイドスコープネットワーク」と呼ばれるデータセットカレイドスコープを設計した。 簡単に言うと、入力 $x\in\mathbb{r}^d$ から自身 $f_\mathcal{n}(x)\rightarrow x$ への mlp を学習すると、'kaleidoscopic sampling' 手順はランダムな入力ノイズ $z\in\mathbb{r}^d$ から始まり、再帰的に$f_\mathcal{n}(\cdots f_\mathcal{n}(z)\cdots )$ を適用する。 バーンイン期間後, 入力分布から試料を観察し始めると, MLPの深部では, 回収した試料の品質が高いことがわかった。 Scope: 私たちは、CNNやTransformers、U-Netといった他のディープラーニングアーキテクチャに対して、この現象をさまざまな程度に観測しました。

関連論文リスト

• Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
  本稿では,ディープフィードフォワードニューラルネットワーク(DNN)のパラメータ空間におけるトレーニング可能な状態予測手法を提案する。 トレーニングの1つのエポックは、データセットの幅でディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T18:00:05Z)
• Sliding down the stairs: how correlated latent variables accelerate learning with neural networks [8.107431208836426]
  入力累積に符号化された方向に沿った潜伏変数間の相関が高次相関から学習を高速化することを示す。 この結果は2層ニューラルネットワークのシミュレーションで確認された。
  論文  参考訳（メタデータ） (2024-04-12T17:01:25Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
  層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。 モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。 また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
  論文  参考訳（メタデータ） (2023-02-20T01:30:27Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
  本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。 ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
  論文  参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。