論文の概要: Neural Complexity Measures

• arxiv url: http://arxiv.org/abs/2008.02953v2
• Date: Fri, 23 Oct 2020 07:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 00:35:19.749860
• Title: Neural Complexity Measures
• Title（参考訳）: 神経複雑度対策
• Authors: Yoonho Lee, Juho Lee, Sung Ju Hwang, Eunho Yang, Seungjin Choi
• Abstract要約: 本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
• 参考スコア（独自算出の注目度）: 96.06344259626127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While various complexity measures for deep neural networks exist, specifying an appropriate measure capable of predicting and explaining generalization in deep networks has proven challenging. We propose Neural Complexity (NC), a meta-learning framework for predicting generalization. Our model learns a scalar complexity measure through interactions with many heterogeneous tasks in a data-driven way. The trained NC model can be added to the standard training loss to regularize any task learner in a standard supervised learning scenario. We contrast NC's approach against existing manually-designed complexity measures and other meta-learning models, and we validate NC's performance on multiple regression and classification tasks
• Abstract（参考訳）: ディープニューラルネットワークには様々な複雑性尺度が存在するが、ディープネットワークの一般化を予測し説明できる適切な尺度を特定することは困難であることが証明されている。 一般化を予測するメタラーニングフレームワークであるNeural Complexity (NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。 トレーニングされたncモデルは、標準のトレーニング損失に追加でき、標準の教師付き学習シナリオで任意のタスク学習者を規則化することができる。 我々は,既存の手作業による複雑度尺度や他のメタラーニングモデルに対するncのアプローチと対比し,複数の回帰および分類タスクにおけるncの性能を検証する。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Boosting Adversarial Training via Fisher-Rao Norm-based Regularization [9.975998980413301]
  本稿では,ロバスト性と精度のトレードオフを軽減するため,LOAT(Logit-Oriented Adversarial Training)と呼ばれる新たな正規化フレームワークを提案する。 実験により,提案した正規化戦略により,有意な対向学習アルゴリズムの性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-03-26T09:22:37Z)
• Parallel Learning by Multitasking Neural Networks [1.6799377888527685]
  現代の人工知能の課題は、複数のパターンを同時に学習することだ。 マルチタスク・ヘビアン・ネットワークは,このような複雑なタスクを自然に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-08-08T07:43:31Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Semi-Parametric Inducing Point Networks and Neural Processes [15.948270454686197]
  半パラメトリック誘導点ネットワーク(SPIN)は、推論時間におけるトレーニングセットを計算効率よくクエリすることができる。 SPINは、ポイントメソッドにインスパイアされたデータポイント間のクロスアテンションメカニズムを通じて、線形複雑性を実現する。 実験では,SPINはメモリ要件を低減し,様々なメタラーニングタスクの精度を向上し,重要な実用的問題である遺伝子型計算における最先端性能を向上させる。
  論文  参考訳（メタデータ） (2022-05-24T01:42:46Z)
• Can deep neural networks learn process model structure? An assessment framework and analysis [0.2580765958706854]
  本稿では,新しい適合度,精度,一般化の指標を補完する評価手法を提案する。 このフレームワークを単純な制御-フローの振る舞いを持つ複数のプロセスモデルに適用する。 以上の結果から, 単純化モデルにおいても, オーバーフィッティング対策の注意深い調整が必要であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-24T09:44:13Z)
• Learning for Integer-Constrained Optimization through Neural Networks with Limited Training [28.588195947764188]
  我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。 整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。 提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T21:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。