論文の概要: Multilevel-in-Layer Training for Deep Neural Network Regression
- arxiv url: http://arxiv.org/abs/2211.06515v1
- Date: Fri, 11 Nov 2022 23:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 20:19:04.358357
- Title: Multilevel-in-Layer Training for Deep Neural Network Regression
- Title（参考訳）: ディープニューラルネットワーク回帰のためのマルチレベルインレイヤートレーニング
- Authors: Colin Ponce, Ruipeng Li, Christina Mao, Panayot Vassilevski
- Abstract要約: ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。
我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
- 参考スコア（独自算出の注目度）: 1.6185544531149159
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common challenge in regression is that for many problems, the degrees of
freedom required for a high-quality solution also allows for overfitting.
Regularization is a class of strategies that seek to restrict the range of
possible solutions so as to discourage overfitting while still enabling good
solutions, and different regularization strategies impose different types of
restrictions. In this paper, we present a multilevel regularization strategy
that constructs and trains a hierarchy of neural networks, each of which has
layers that are wider versions of the previous network's layers. We draw
intuition and techniques from the field of Algebraic Multigrid (AMG),
traditionally used for solving linear and nonlinear systems of equations, and
specifically adapt the Full Approximation Scheme (FAS) for nonlinear systems of
equations to the problem of deep learning. Training through V-cycles then
encourage the neural networks to build a hierarchical understanding of the
problem. We refer to this approach as \emph{multilevel-in-width} to distinguish
from prior multilevel works which hierarchically alter the depth of neural
networks. The resulting approach is a highly flexible framework that can be
applied to a variety of layer types, which we demonstrate with both
fully-connected and convolutional layers. We experimentally show with PDE
regression problems that our multilevel training approach is an effective
regularizer, improving the generalize performance of the neural networks
studied.
- Abstract（参考訳）: 回帰における一般的な課題は、多くの問題に対して、高品質なソリューションに必要な自由度がオーバーフィットを可能にすることである。
正規化(りょうりょうりょう、英: Regularization)とは、解決可能な範囲を制限し、優れたソリューションを実現しつつ過度な適合を回避し、さまざまな規制を課す戦略である。
本稿では,ニューラルネットワークの階層構造を構築し,学習するマルチレベル正規化戦略を提案する。
代数的マルチグリッド(amg)の分野から直観的手法と手法を導き、伝統的に方程式の線形および非線形系を解くために用いられ、特に非線形方程式系に対する完全近似スキーム(fas)を深層学習問題に適用する。
vサイクルでのトレーニングは、ニューラルネットワークに問題を階層的に理解するよう促す。
ニューラルネットワークの深さを階層的に変化させる従来のマルチレベルワークと区別するために、このアプローチを 'emph{multilevel-in-width} と呼ぶ。
その結果得られたアプローチは、さまざまなレイヤタイプに適用可能な非常に柔軟なフレームワークで、完全な接続層と畳み込み層の両方で実証します。
我々は,PDE回帰問題を用いて,ニューラルネットワークの一般化性能を向上し,マルチレベルトレーニングアプローチが効果的な正則化器であることを示す。
関連論文リスト
- Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable
Spiking Neural Network on FPGA [0.31498833540989407]
ODESAは、グラデーションを使わずに、エンド・ツー・エンドの多層オンラインローカル教師ありトレーニングを行う最初のネットワークである。
本研究は,ネットワークアーキテクチャと重みとしきい値のオンライントレーニングを,大規模ハードウェア上で効率的に実施可能であることを示す。
論文 参考訳（メタデータ） (2023-05-31T00:34:15Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳（メタデータ） (2023-01-03T20:57:22Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳（メタデータ） (2021-03-02T03:09:03Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳（メタデータ） (2020-10-29T06:32:53Z) - Multilevel Minimization for Deep Residual Networks [0.0]
深層ネットワーク(ResNets)のトレーニングのための新しいマルチレベル最小化フレームワークを提案する。
我々のフレームワークは,初期値問題の離散化としてResNetを定式化した力学系の視点に基づいている。
設計によって、我々のフレームワークは、マルチレベル階層の各レベルで選択されたトレーニング戦略の選択から都合よく独立している。
論文 参考訳（メタデータ） (2020-04-13T20:52:26Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。