論文の概要: Neural Complexity Measures
- arxiv url: http://arxiv.org/abs/2008.02953v2
- Date: Fri, 23 Oct 2020 07:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 00:35:19.749860
- Title: Neural Complexity Measures
- Title(参考訳): 神経複雑度対策
- Authors: Yoonho Lee, Juho Lee, Sung Ju Hwang, Eunho Yang, Seungjin Choi
- Abstract要約: 本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。
我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
- 参考スコア(独自算出の注目度): 96.06344259626127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While various complexity measures for deep neural networks exist, specifying
an appropriate measure capable of predicting and explaining generalization in
deep networks has proven challenging. We propose Neural Complexity (NC), a
meta-learning framework for predicting generalization. Our model learns a
scalar complexity measure through interactions with many heterogeneous tasks in
a data-driven way. The trained NC model can be added to the standard training
loss to regularize any task learner in a standard supervised learning scenario.
We contrast NC's approach against existing manually-designed complexity
measures and other meta-learning models, and we validate NC's performance on
multiple regression and classification tasks
- Abstract(参考訳): ディープニューラルネットワークには様々な複雑性尺度が存在するが、ディープネットワークの一般化を予測し説明できる適切な尺度を特定することは困難であることが証明されている。
一般化を予測するメタラーニングフレームワークであるNeural Complexity (NC)を提案する。
我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
トレーニングされたncモデルは、標準のトレーニング損失に追加でき、標準の教師付き学習シナリオで任意のタスク学習者を規則化することができる。
我々は,既存の手作業による複雑度尺度や他のメタラーニングモデルに対するncのアプローチと対比し,複数の回帰および分類タスクにおけるncの性能を検証する。
関連論文リスト
- Parallel Learning by Multitasking Neural Networks [1.6799377888527685]
現代の人工知能の課題は、複数のパターンを同時に学習することだ。
マルチタスク・ヘビアン・ネットワークは,このような複雑なタスクを自然に行うことができることを示す。
論文 参考訳(メタデータ) (2023-08-08T07:43:31Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Neural Networks and the Chomsky Hierarchy [27.470857324448136]
チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。
膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。
この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
論文 参考訳(メタデータ) (2022-07-05T15:06:11Z) - FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear
Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。
単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。
我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文 参考訳(メタデータ) (2022-05-31T18:33:15Z) - Semi-Parametric Inducing Point Networks and Neural Processes [15.948270454686197]
半パラメトリック誘導点ネットワーク(SPIN)は、推論時間におけるトレーニングセットを計算効率よくクエリすることができる。
SPINは、ポイントメソッドにインスパイアされたデータポイント間のクロスアテンションメカニズムを通じて、線形複雑性を実現する。
実験では,SPINはメモリ要件を低減し,様々なメタラーニングタスクの精度を向上し,重要な実用的問題である遺伝子型計算における最先端性能を向上させる。
論文 参考訳(メタデータ) (2022-05-24T01:42:46Z) - Can deep neural networks learn process model structure? An assessment
framework and analysis [0.2580765958706854]
本稿では,新しい適合度,精度,一般化の指標を補完する評価手法を提案する。
このフレームワークを単純な制御-フローの振る舞いを持つ複数のプロセスモデルに適用する。
以上の結果から, 単純化モデルにおいても, オーバーフィッティング対策の注意深い調整が必要であることが示唆された。
論文 参考訳(メタデータ) (2022-02-24T09:44:13Z) - Learning for Integer-Constrained Optimization through Neural Networks
with Limited Training [28.588195947764188]
我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。
整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。
提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
論文 参考訳(メタデータ) (2020-11-10T21:17:07Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。