論文の概要: Empirical investigations on WVA structural issues

• arxiv url: http://arxiv.org/abs/2208.05791v2
• Date: Sun, 14 Aug 2022 12:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 11:18:10.707760
• Title: Empirical investigations on WVA structural issues
• Title（参考訳）: WVA構造問題に関する実証的研究
• Authors: Alexey Kutalev and Alisa Lapina
• Abstract要約: 破滅的な忘れ方と克服方法の問題を詳しく説明しようと試みる。 本稿で紹介したWVA法の本質と限界について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we want to present the results of empirical verification of some issues concerning the methods for overcoming catastrophic forgetting in neural networks. First, in the introduction, we will try to describe in detail the problem of catastrophic forgetting and methods for overcoming it for those who are not yet familiar with this topic. Then we will discuss the essence and limitations of the WVA method which we presented in previous papers. Further, we will touch upon the issues of applying the WVA method to gradients or optimization steps of weights, choosing the optimal attenuation function in this method, as well as choosing the optimal hyper-parameters of the method depending on the number of tasks in sequential training of neural networks.
• Abstract（参考訳）: 本稿では,ニューラルネットワークにおける破滅的忘れを克服する方法について,いくつかの問題に対する実証検証の結果を提示する。 まずはじめに、我々は、この話題に精通していない人のために、破滅的な忘れ方とそれを乗り越える方法の問題を詳細に説明する。 次に,本稿で紹介したWVA法の本質と限界について論じる。 さらに,重みの勾配や最適化ステップへのwva法の適用,この手法の最適減衰関数の選択,ニューラルネットワークの逐次学習におけるタスク数に応じた最適ハイパーパラメータの選択といった問題にも触れる。

関連論文リスト

• SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms [1.21748738176366]
  Adam、AdaGrad、AdaHessianといったテクニックは、対象関数の曲率を組み込むことで、探索が影響を受けるプリコンディショナーを利用する。 本稿では,これらの課題に対処するためにSANIAを提案する。
  論文  参考訳（メタデータ） (2023-12-28T21:28:08Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Guided Depth Map Super-resolution: A Survey [88.54731860957804]
  誘導深度マップ超解像(GDSR)は、高分解能(HR)深度マップを低分解能(LR)観測から2枚のHRカラー画像の助けを借りて再構成することを目的としている。 近年,特に強力な深層学習技術を用いて,斬新で効果的なアプローチが多数提案されている。 この調査は、GDSRの最近の進歩に関する包括的調査を提示する試みである。
  論文  参考訳（メタデータ） (2023-02-19T15:43:54Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Hybrid neural network reduced order modelling for turbulent flows with geometric parameters [0.0]
  本稿では,幾何的パラメータ化不可能な乱流Navier-Stokes問題の解法として,古典的ガレルキン射影法とデータ駆動法を併用して,多目的かつ高精度なアルゴリズムを提案する。 本手法の有効性は,古典学のバックステップ問題と形状変形Ahmed体応用の2つの異なるケースで実証された。
  論文  参考訳（メタデータ） (2021-07-20T16:06:18Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• Inverse Reinforcement Learning with Explicit Policy Estimates [19.159290496678004]
  逆強化学習問題を解くための様々な手法が、機械学習と経済学において独立に開発された。 我々は、それらがすべて共通の形態の勾配、関連する政策と目的によって特徴づけられる最適化問題のクラスに属していることを示しています。 この最適化問題の研究から得られた知見を用いて,様々な問題シナリオを特定し,それらの問題に対する各手法の適合性について検討する。
  論文  参考訳（メタデータ） (2021-03-04T07:00:58Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Backpropagation-Free Learning Method for Correlated Fuzzy Neural Networks [2.1320960069210475]
  本稿では,所望の前提部品の出力を推定し,段階的に学習する手法を提案する。 前提部品のパラメータを学習するために出力エラーをバックプロパゲートする必要はない。 実世界の時系列予測と回帰問題に適用できる。
  論文  参考訳（メタデータ） (2020-11-25T20:56:05Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。