論文の概要: Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression

• arxiv url: http://arxiv.org/abs/2107.01711v1
• Date: Sun, 4 Jul 2021 19:07:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 00:22:21.174597
• Title: Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression
• Title（参考訳）: 自動エンコーダに基づく回帰のためのフィードフォワードニューラルネットワークのランダム学習
• Authors: Grzegorz Dudek
• Abstract要約: 勾配に基づく学習は多くの欠点に悩まされ、トレーニングプロセスは効果がなく、時間がかかります。 正規化学習では勾配は使用せず、隠れノードパラメータをランダムに選択する。 近年,教師なしパラメータ学習にオートエンコーダを用いた手法が提案されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedforward neural networks are widely used as universal predictive models to fit data distribution. Common gradient-based learning, however, suffers from many drawbacks making the training process ineffective and time-consuming. Alternative randomized learning does not use gradients but selects hidden node parameters randomly. This makes the training process extremely fast. However, the problem in randomized learning is how to determine the random parameters. A recently proposed method uses autoencoders for unsupervised parameter learning. This method showed superior performance on classification tasks. In this work, we apply this method to regression problems, and, finding that it has some drawbacks, we show how to improve it. We propose a learning method of autoencoders that controls the produced random weights. We also propose how to determine the biases of hidden nodes. We empirically compare autoencoder based learning with other randomized learning methods proposed recently for regression and find that despite the proposed improvement of the autoencoder based learning, it does not outperform its competitors in fitting accuracy. Moreover, the method is much more complex than its competitors.
• Abstract（参考訳）: feedforwardニューラルネットワークは、データ分散に適した普遍予測モデルとして広く使われている。 しかし、一般的な勾配ベースの学習は、トレーニングプロセスを非効率で時間のかかるものにする多くの欠点に苦しむ。 正規化学習では勾配は使用せず、隠れノードパラメータをランダムに選択する。 これにより、トレーニングプロセスが極めて高速になる。 しかし、ランダムな学習における問題は、ランダムなパラメータを決定する方法である。 最近提案された手法は教師なしパラメータ学習にオートエンコーダを用いる。 この方法は分類作業において優れた性能を示した。 本研究では, この手法を回帰問題に適用し, 欠点がいくつかあることを確認し, 改善方法を示す。 生成したランダムウェイトを制御するオートエンコーダの学習法を提案する。 また,隠れノードのバイアスを決定する手法を提案する。 自動エンコーダに基づく学習と,最近提案されている他のランダム学習法との比較を行った結果,自動エンコーダベースの学習が提案されているが,その精度に匹敵するものではないことがわかった。 さらに、この方法は競合他社よりもはるかに複雑である。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
  本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。 実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-09-07T17:30:56Z)
• A concise method for feature selection via normalized frequencies [0.0]
  本稿では,普遍的特徴選択のための簡潔な手法を提案する。 提案手法は, フィルタ法とラッパー法を融合して行う。 評価結果から,提案手法は,精度,精度,リコール,Fスコア,AUCの点で,いくつかの最先端技術に優れた性能を示した。
  論文  参考訳（メタデータ） (2021-06-10T15:29:54Z)
• On the Reproducibility of Neural Network Predictions [52.47827424679645]
  そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。 最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。 我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。 両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
  論文  参考訳（メタデータ） (2021-02-05T18:51:01Z)
• Cross-Validation and Uncertainty Determination for Randomized Neural Networks with Applications to Mobile Sensors [0.0]
  極端学習マシンは、限られたコンピュータリソースとグリーン機械学習の下で教師付き学習を行うための魅力的で効率的な方法を提供する。 このようなネットワークと回帰手法による教師あり学習について,一般化と予測誤差の整合性および境界性の観点から考察した。
  論文  参考訳（メタデータ） (2021-01-06T12:28:06Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Deep Ordinal Regression with Label Diversity [19.89482062012177]
  本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。 我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
  論文  参考訳（メタデータ） (2020-06-29T08:23:43Z)
• Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling [11.324407834445422]
  本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。 この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
  論文  参考訳（メタデータ） (2020-03-25T08:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。