論文の概要: Prior knowledge distillation based on financial time series
- arxiv url: http://arxiv.org/abs/2006.09247v5
- Date: Thu, 26 Nov 2020 05:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 20:11:49.624158
- Title: Prior knowledge distillation based on financial time series
- Title（参考訳）: 金融時系列に基づく事前知識蒸留
- Authors: Jie Fang and Jianwu Lin
- Abstract要約: 我々は,ニューラルネットワークを用いて指標を表現し,より小さなネットワークを特徴層として構築した大規模ネットワークを訓練することを提案する。
数値実験により,本アルゴリズムは実際の財務データセットの従来の手法よりも高速かつ高精度であることが判明した。
- 参考スコア（独自算出の注目度）: 0.8756822885568589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the major characteristics of financial time series is that they
contain a large amount of non-stationary noise, which is challenging for deep
neural networks. People normally use various features to address this problem.
However, the performance of these features depends on the choice of
hyper-parameters. In this paper, we propose to use neural networks to represent
these indicators and train a large network constructed of smaller networks as
feature layers to fine-tune the prior knowledge represented by the indicators.
During back propagation, prior knowledge is transferred from human logic to
machine logic via gradient descent. Prior knowledge is the deep belief of
neural network and teaches the network to not be affected by non-stationary
noise. Moreover, co-distillation is applied to distill the structure into a
much smaller size to reduce redundant features and the risk of overfitting. In
addition, the decisions of the smaller networks in terms of gradient descent
are more robust and cautious than those of large networks. In numerical
experiments, we find that our algorithm is faster and more accurate than
traditional methods on real financial datasets. We also conduct experiments to
verify and comprehend the method.
- Abstract（参考訳）: 金融時系列の大きな特徴の1つは、深いニューラルネットワークでは困難である大量の非定常ノイズを含むことである。
通常、人々はこの問題に対処するために様々な機能を使う。
しかし、これらの機能の性能はハイパーパラメータの選択に依存する。
本稿では,これらの指標をニューラルネットワークで表現し,より小さなネットワークを特徴層として構築した大規模ネットワークを訓練し,指標が示す事前知識を微調整することを提案する。
バックプロパゲーションの間、事前知識は勾配降下を通じて人間の論理から機械論理に伝達される。
事前知識はニューラルネットワークの深い信念であり、非定常ノイズの影響を受けないようネットワークに教える。
さらに、共蒸留により、構造をはるかに小さなサイズに蒸留し、冗長な特徴と過剰充填のリスクを低減できる。
さらに、勾配降下の観点からの小さなネットワークの決定は、大規模ネットワークのそれよりも堅牢で慎重である。
数値実験により,我々のアルゴリズムは実際の財務データセットの従来の手法よりも高速で精度が高いことがわかった。
また,本手法の検証と理解を行う実験を行った。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation [36.41451383422967]
科学的応用において、ニューラルネットワークのスケールは概して中規模であり、主に推論の速度を保証する。
既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。
本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-02T06:53:40Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Rewiring Networks for Graph Neural Network Training Using Discrete
Geometry [0.0]
情報オーバースカッシングはグラフニューラルネットワーク(GNN)のトレーニングに大きな影響を与える問題である
本稿では,ネットワーク上の情報の流れをモデル化し,それらを再構成するために,古典幾何学的な曲率の概念の離散アナログを用いて検討する。
これらの古典的概念は、様々な実世界のネットワークデータセット上でのGNNトレーニング精度において、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-07-16T21:50:39Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z) - Differentiable Sparsification for Deep Neural Networks [0.0]
本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。
提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。
私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
論文 参考訳（メタデータ） (2019-10-08T03:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。