論文の概要: Are Direct Links Necessary in RVFL NNs for Regression?

• arxiv url: http://arxiv.org/abs/2003.13090v1
• Date: Sun, 29 Mar 2020 17:55:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:13:56.894866
• Title: Are Direct Links Necessary in RVFL NNs for Regression?
• Title（参考訳）: rvflnnにおける直接リンクはレグレッションに必要か?
• Authors: Grzegorz Dudek
• Abstract要約: 直接リンクと出力ノードバイアスがRVFLの回帰特性に及ぼす影響について検討する。 意外なことに、直リンクと出力ノードバイアスは典型的な非線形回帰問題に対するRVFL精度向上に重要な役割を果たさないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A random vector functional link network (RVFL) is widely used as a universal approximator for classification and regression problems. The big advantage of RVFL is fast training without backpropagation. This is because the weights and biases of hidden nodes are selected randomly and stay untrained. Recently, alternative architectures with randomized learning are developed which differ from RVFL in that they have no direct links and a bias term in the output layer. In this study, we investigate the effect of direct links and output node bias on the regression performance of RVFL. For generating random parameters of hidden nodes we use the classical method and two new methods recently proposed in the literature. We test the RVFL performance on several function approximation problems with target functions of different nature: nonlinear, nonlinear with strong fluctuations, nonlinear with linear component and linear. Surprisingly, we found that the direct links and output node bias do not play an important role in improving RVFL accuracy for typical nonlinear regression problems.
• Abstract（参考訳）: ランダムベクトル汎関数リンクネットワーク(rvfl)は分類と回帰問題の普遍近似器として広く使われている。 RVFLの大きな利点は、バックプロパゲーションなしでの高速トレーニングである。 これは隠れたノードの重みとバイアスがランダムに選択され、訓練されていないためである。 近年,ランダム化学習による代替アーキテクチャが開発され,出力層に直接リンクやバイアス項が存在しない点において,rvflとは異なっている。 本研究では,直接リンクと出力ノードバイアスがRVFLの回帰特性に及ぼす影響について検討する。 隠れノードのランダムパラメータの生成には,最近提案された古典的手法と2つの新しい手法を用いる。 本研究では, 非線形, 強いゆらぎをもつ非線形, 線形成分をもつ非線形, 線形関数を持つ複数の関数近似問題に対して, RVFLの性能を検証した。 意外なことに、直リンクと出力ノードバイアスは典型的な非線形回帰問題に対するRVFL精度向上に重要な役割を果たさないことがわかった。

関連論文リスト

• Automatic debiasing of neural networks via moment-constrained learning [0.0]
  偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。 本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
  論文  参考訳（メタデータ） (2024-09-29T20:56:54Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks [12.992733141210158]
  適応ランダム特徴正規化(AdaRand)と呼ばれる単純な手法を提案する。 AdaRandは、訓練モデルの特徴抽出器が、補助的なソース情報や適切な計算コストを伴わずに、下流の分類タスクのための特徴ベクトルの分布を適応的に変更するのに役立つ。 実験の結果、AdaRandは他の微調整正規化よりも優れており、補助的な情報源情報と重い計算コストが要求されることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T08:26:59Z)
• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Random vector functional link network: recent developments, applications, and future directions [5.2848042940993345]
  乱数ベクトル汎関数リンク(RVFL)ネットワークのようなランダム化に基づくニューラルネットワークが提案されている。 RVFLモデルには、高速トレーニング速度、ダイレクトリンク、シンプルなアーキテクチャ、普遍近似機能など、いくつかの特徴がある。 本稿では RVFL モデルの進化を包括的に概観する。
  論文  参考訳（メタデータ） (2022-02-13T05:02:52Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。