論文の概要: On the choice of the non-trainable internal weights in random feature maps
- arxiv url: http://arxiv.org/abs/2408.03626v1
- Date: Wed, 7 Aug 2024 08:37:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 13:24:07.005462
- Title: On the choice of the non-trainable internal weights in random feature maps
- Title(参考訳): ランダム特徴写像における非訓練的内部重みの選択について
- Authors: Pinak Mandal, Georg A. Gottwald,
- Abstract要約: ランダムな特徴写像に対して、内部重みを最適に選択する方法の課題に対処する。
ランダムな特徴写像の予測能力を制御する主な要因は, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴量が多いこと, 特徴
ランダムな特徴写像は計算コストを桁違いに抑えながら予測能力に優れていた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The computationally cheap machine learning architecture of random feature maps can be viewed as a single-layer feedforward network in which the weights of the hidden layer are random but fixed and only the outer weights are learned via linear regression. The internal weights are typically chosen from a prescribed distribution. The choice of the internal weights significantly impacts the accuracy of random feature maps. We address here the task of how to best select the internal weights. In particular, we consider the forecasting problem whereby random feature maps are used to learn a one-step propagator map for a dynamical system. We provide a computationally cheap hit-and-run algorithm to select good internal weights which lead to good forecasting skill. We show that the number of good features is the main factor controlling the forecasting skill of random feature maps and acts as an effective feature dimension. Lastly, we compare random feature maps with single-layer feedforward neural networks in which the internal weights are now learned using gradient descent. We find that random feature maps have superior forecasting capabilities whilst having several orders of magnitude lower computational cost.
- Abstract(参考訳): ランダム特徴写像の計算に安価な機械学習アーキテクチャは、隠れた層の重みがランダムだが固定され、外重みのみが線形回帰によって学習される単一層フィードフォワードネットワークと見なすことができる。
内部重量は、通常所定の分布から選ばれる。
内部重みの選択は、ランダムな特徴写像の精度に大きな影響を及ぼす。
ここでは、内部重みを最適に選択する方法のタスクに対処する。
特に,動的システムのための一段階プロパゲータマップをランダムな特徴写像を用いて学習する予測問題を考える。
計算的に安価なヒット・アンド・ランアルゴリズムを提供し、優れた内部重みを選択することで予測能力が向上する。
本研究は, ランダムな特徴マップの予測スキルを制御し, 有効特徴次元として機能する要因として, 良質な特徴の数が重要であることを示す。
最後に, 内部重みを勾配降下法を用いて学習する単一層フィードフォワードニューラルネットワークを用いて, ランダムな特徴写像を比較した。
ランダムな特徴写像は計算コストを桁違いに抑えながら予測能力に優れていた。
関連論文リスト
- Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳(メタデータ) (2023-06-16T17:59:51Z) - Asynchronously Trained Distributed Topographic Maps [0.0]
分散トレーニングによって特徴マップを生成するために,N$の自律ユニットを用いたアルゴリズムを提案する。
単位の自律性は、分散探索とカスケード駆動の重み更新スキームを組み合わせることで、時間と空間のスパース相互作用によって達成される。
論文 参考訳(メタデータ) (2023-01-20T01:15:56Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳(メタデータ) (2022-12-26T15:13:13Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳(メタデータ) (2022-06-10T10:17:59Z) - Physics Informed Shallow Machine Learning for Wind Speed Prediction [66.05661813632568]
イタリアの32カ所の標高10mの風速計から観測された大量の風のデータセットを分析した。
我々は、過去の風の履歴を用いて教師あり学習アルゴリズムを訓練し、その価値を将来予測する。
最適設計と性能は場所によって異なることがわかった。
論文 参考訳(メタデータ) (2022-04-01T14:55:10Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Embedded methods for feature selection in neural networks [0.0]
ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。
パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。
PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
論文 参考訳(メタデータ) (2020-10-12T16:33:46Z) - How Powerful are Shallow Neural Networks with Bandlimited Random
Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。
ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文 参考訳(メタデータ) (2020-08-19T13:26:12Z) - Binary Stochastic Filtering: feature selection and beyond [0.0]
この研究は、スパシティ正規化の使用方法を再考することによって、機能を自動的に選択する機能を備えたニューラルネットワークの拡張を目指している。
提案手法は,計算オーバーヘッドを最小あるいはゼロに抑えた古典的手法と比較して,優れた効率性を示した。
論文 参考訳(メタデータ) (2020-07-08T06:57:10Z) - Train-by-Reconnect: Decoupling Locations of Weights from their Values [6.09170287691728]
トレーニングされていないディープニューラルネットワーク(DNN)は、トレーニングされたニューラルネットワークとは異なることを示す。
重みをリコネクションすることでDNNをトレーニングするためのLookahead Permutation(LaPerm)という新しい手法を提案する。
初期重みが1つの値を共有すると、我々の手法はより精度のよい重み付きニューラルネットワークを見つける。
論文 参考訳(メタデータ) (2020-03-05T12:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。