論文の概要: Bilevel Programming and Deep Learning: A Unifying View on Inference Learning Methods

• arxiv url: http://arxiv.org/abs/2105.07231v1
• Date: Sat, 15 May 2021 14:19:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:26:49.043922
• Title: Bilevel Programming and Deep Learning: A Unifying View on Inference Learning Methods
• Title（参考訳）: バイレベルプログラミングとディープラーニング:推論学習法に関する統一的見解
• Authors: Christopher Zach
• Abstract要約: 我々はすべての推論学習手法が特別なケースとしてバックプロパゲーションを含むことを示した。 標準バックプロパゲーションにおける無限小補正の伝播を学習信号として有限ターゲットに置き換えるFenchelバックプロパゲーションを提案する。
• 参考スコア（独自算出の注目度）: 25.775517797956237
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work we unify a number of inference learning methods, that are proposed in the literature as alternative training algorithms to the ones based on regular error back-propagation. These inference learning methods were developed with very diverse motivations, mainly aiming to enhance the biological plausibility of deep neural networks and to improve the intrinsic parallelism of training methods. We show that these superficially very different methods can all be obtained by successively applying a particular reformulation of bilevel optimization programs. As a by-product it becomes also evident that all considered inference learning methods include back-propagation as a special case, and therefore at least approximate error back-propagation in typical settings. Finally, we propose Fenchel back-propagation, that replaces the propagation of infinitesimal corrections performed in standard back-propagation with finite targets as the learning signal. Fenchel back-propagation can therefore be seen as an instance of learning via explicit target propagation.
• Abstract（参考訳）: 本研究では,規則的誤りバックプロパゲーションに基づく手法に対して,代替訓練アルゴリズムとして文献に提案されている推論学習手法を整理した。 これらの推論学習法は非常に多様なモチベーションを持って開発され、主に深層ニューラルネットワークの生物学的可視性を高め、訓練方法の本質的な並列性を改善することを目的としていた。 本稿では,2段階最適化プログラムを逐次適用することにより,これらの方法がすべて実現可能であることを示す。 副産物として、すべての推論学習方法は特別な場合としてバックプロパゲーションを含み、したがって典型的な設定では少なくとも近似エラーバックプロパゲーションを含むことも明らかになる。 最後に,標準バックプロパゲーションにおける無限小補正を学習信号として有限目標に置き換えたFenchelバックプロパゲーションを提案する。 したがって、フェンシェルバックプロパゲーションは、明示的な目標伝播による学習の例と見なすことができる。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Learned reconstruction methods for inverse problems: sample error estimates [0.8702432681310401]
  本論文は,学習した再構成手法の一般化特性,特にサンプル誤差解析を行うためのものである。 より一般的な戦略が提案され、その仮定は、逆問題と学習方法の大きなクラスに対して満たされる。
  論文  参考訳（メタデータ） (2023-12-21T17:56:19Z)
• Practical Convex Formulation of Robust One-hidden-layer Neural Network Training [12.71266194474117]
  本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。 我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。 本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
  論文  参考訳（メタデータ） (2021-05-25T22:06:27Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• A Survey on Deep Semi-supervised Learning [51.26862262550445]
  まず,既存の手法を分類した深層半指導学習の分類法を提案する。 次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
  論文  参考訳（メタデータ） (2021-02-28T16:22:58Z)
• STDP enhances learning by backpropagation in a spiking neural network [0.0]
  提案手法は,少量のラベル付きデータを使用する場合,ラベル付けを加味せずに精度を向上する。 イベント駆動システムのための学習手法を提案することができる。
  論文  参考訳（メタデータ） (2021-02-21T06:55:02Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)
• Hierarchical Variational Imitation Learning of Control Programs [131.7671843857375]
  パラメータ化された階層的手順(PHP)で表される制御ポリシーの模倣学習のための変分推論手法を提案する。 本手法は, 教師による実演の観察・行動トレースのデータセットにおける階層構造を, 手続き呼び出しや用語の待ち行列に近似した後続分布を学習することによって発見する。 階層的模倣学習(hierarchical mimicion learning)の文脈における変分推論の新たな利点を実証する。
  論文  参考訳（メタデータ） (2019-12-29T08:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。