論文の概要: When To Grow? A Fitting Risk-Aware Policy for Layer Growing in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2401.03104v1
• Date: Sat, 6 Jan 2024 01:15:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:36:12.796842
• Title: When To Grow? A Fitting Risk-Aware Policy for Layer Growing in Deep Neural Networks
• Title（参考訳）: いつ成長するか? ディープニューラルネットワークにおける層成長のためのリスクアウェアポリシー
• Authors: Haihang Wu, Wei Wang, Tamasha Malepathirana, Damith Senanayake, Denny Oetomo, Saman Halgamuge
• Abstract要約: 神経成長は, 成長時期の選択された政策の影響を受け, 正則化効果を示すことを示す。 本稿では,リスクの過小評価レベルから得られる成長タイミングを自動的に調整する,過小評価型成長タイミングポリシーを提案する。 CIFAR-10/100データセットとImageNetデータセットを用いた総合的な実験により、提案されたポリシーは、不適合なモデルで最大1.3%の精度向上を達成することを示した。
• 参考スコア（独自算出の注目度）: 2.855517197407522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural growth is the process of growing a small neural network to a large network and has been utilized to accelerate the training of deep neural networks. One crucial aspect of neural growth is determining the optimal growth timing. However, few studies investigate this systematically. Our study reveals that neural growth inherently exhibits a regularization effect, whose intensity is influenced by the chosen policy for growth timing. While this regularization effect may mitigate the overfitting risk of the model, it may lead to a notable accuracy drop when the model underfits. Yet, current approaches have not addressed this issue due to their lack of consideration of the regularization effect from neural growth. Motivated by these findings, we propose an under/over fitting risk-aware growth timing policy, which automatically adjusts the growth timing informed by the level of potential under/overfitting risks to address both risks. Comprehensive experiments conducted using CIFAR-10/100 and ImageNet datasets show that the proposed policy achieves accuracy improvements of up to 1.3% in models prone to underfitting while achieving similar accuracies in models suffering from overfitting compared to the existing methods.
• Abstract（参考訳）: 神経成長は、小さなニューラルネットワークを大きなネットワークに成長させるプロセスであり、ディープニューラルネットワークのトレーニングを加速するために利用されてきた。 神経成長の重要な側面は、最適な成長タイミングを決定することである。 しかし、体系的に研究する研究は少ない。 本研究により, 神経成長は, 成長タイミングの選択方針の影響を受け, 正則化効果を示すことが明らかとなった。 この正規化効果はモデルの過剰フィットリスクを軽減させるが、モデルが不適合になった場合、注目すべき精度低下につながる可能性がある。 しかし、現在のアプローチでは、神経成長による正規化効果の考慮が欠如しているため、この問題に対処していない。 これらの知見に感化されて,リスクの過小評価レベルから得られる成長タイミングを自動的に調整し,両リスクに対処するアンダー/オーバーフィット型成長タイミングポリシーを提案する。 cifar-10/100とimagenetデータセットを用いた包括的実験により、提案手法は、既存の手法と比較して過適合に苦しむモデルにおいて、過適合になりやすいモデルにおいて、最大1.3%の精度向上を達成できることが示された。

関連論文リスト

• Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
  ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。 従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Self Expanding Convolutional Neural Networks [1.4330085996657045]
  本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。 我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
  論文  参考訳（メタデータ） (2024-01-11T06:22:40Z)
• Membership Inference Attacks and Defenses in Neural Network Pruning [5.856147967309101]
  ニューラルネットワークのプルーニングにおいて、プライバシリスクを初めて分析する。 具体的には,ニューラルネットワークのプルーニングがデータプライバシのトレーニングに与える影響について検討する。 本稿では,予測分岐を緩和し,刈り込みプロセスを保護するための新しい防御機構を提案する。
  論文  参考訳（メタデータ） (2022-02-07T16:31:53Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Continuous-Time Deep Glioma Growth Models [3.147638981634818]
  最近の研究は、深層学習と変分推論を通じてグリオーマ成長モデル問題にアプローチし、実際の患者データ分布から完全に学習する。 本稿では,時系列の条件モデルであるNeural Processesを拡張して,時間的生成的注意機構を含む階層的なマルチスケール表現符号化を実現することにより,これらの制限を克服する。 このアプローチは他の学習された成長モデルよりも優れた性能を示し、画像のグローバルおよびよりきめ細かなバリエーションを捉えることに成功した。
  論文  参考訳（メタデータ） (2021-06-23T14:40:44Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Neural Networks and Value at Risk [59.85784504799224]
  リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。 株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。 はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
  論文  参考訳（メタデータ） (2020-05-04T17:41:59Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。