論文の概要: Distributional Correlation--Aware Knowledge Distillation for Stock Trading Volume Prediction

• arxiv url: http://arxiv.org/abs/2208.07232v1
• Date: Thu, 4 Aug 2022 11:12:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-28 22:29:02.520511
• Title: Distributional Correlation--Aware Knowledge Distillation for Stock Trading Volume Prediction
• Title（参考訳）: 分布相関--株式取引量予測のための知識蒸留
• Authors: Lei Li, Zhiyuan Zhang, Ruihan Bao, Keiko Harimoto, Xu Sun
• Abstract要約: 本稿では,軽量な学生モデルを訓練し,取引量予測を行うための新しい枠組みを提案する。 具体的には,回帰モデルを確率的予測モデルに変換し,ガウス分布の予測をトレーニングする。 実世界のストックボリュームデータセット上で、2つの異なる時間窓の設定でフレームワークを評価する。
• 参考スコア（独自算出の注目度）: 27.91596305213188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional knowledge distillation in classification problems transfers the knowledge via class correlations in the soft label produced by teacher models, which are not available in regression problems like stock trading volume prediction. To remedy this, we present a novel distillation framework for training a light-weight student model to perform trading volume prediction given historical transaction data. Specifically, we turn the regression model into a probabilistic forecasting model, by training models to predict a Gaussian distribution to which the trading volume belongs. The student model can thus learn from the teacher at a more informative distributional level, by matching its predicted distributions to that of the teacher. Two correlational distillation objectives are further introduced to encourage the student to produce consistent pair-wise relationships with the teacher model. We evaluate the framework on a real-world stock volume dataset with two different time window settings. Experiments demonstrate that our framework is superior to strong baseline models, compressing the model size by $5\times$ while maintaining $99.6\%$ prediction accuracy. The extensive analysis further reveals that our framework is more effective than vanilla distillation methods under low-resource scenarios.
• Abstract（参考訳）: 分類問題における伝統的な知識蒸留は、ストックトレーディングボリューム予測のような回帰問題では利用できない教師モデルによって生成されるソフトラベルのクラス相関を通じて知識を伝達する。 そこで,本稿では,歴史取引データから取引量予測を行うために,軽量な学生モデルを訓練するための新しい蒸留フレームワークを提案する。 具体的には,トレーディングボリュームが属するガウス分布を予測するためのモデルを用いて,回帰モデルを確率的予測モデルに変換する。 これにより、予測分布と教師の分布とを一致させることで、教師からより情報的な分布レベルで学習することができる。 教師モデルと一貫したペアワイズ関係を生み出すために、2つの相関蒸留目標が導入された。 2つの異なる時間窓の設定で実世界のストックボリュームデータセット上でフレームワークを評価する。 実験により、我々のフレームワークは強力なベースラインモデルよりも優れており、モデルサイズを$99.6\%の予測精度を維持しながら$5\times$圧縮できることが示されている。 広範な分析の結果,低資源シナリオではバニラ蒸留法よりも有効なフレームワークであることが判明した。

関連論文リスト

• Universality in Transfer Learning for Linear Models [18.427215139020625]
  回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。 我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• On the Surprising Efficacy of Distillation as an Alternative to Pre-Training Small Models [7.062887337934677]
  我々は、小モデルがその利点を享受するために事前学習のコストを吸収する必要がないことを提案する。 事前訓練されたモデルからタスクを蒸留すると、そのタスクで事前訓練されたり微調整されたりした場合、小さなモデルで達成される性能を達成または超えることが観察された。
  論文  参考訳（メタデータ） (2024-04-04T07:38:11Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• A Time Series Analysis-Based Stock Price Prediction Using Machine Learning and Deep Learning Models [0.0]
  我々は、統計的、機械学習、ディープラーニングモデルの集合から成り立つ、非常に堅牢で正確な株価予測の枠組みを提示する。 当社は、インドの国立証券取引所(NSE)に上場している非常に有名な企業の、毎日の株価データを5分間隔で収集しています。 統計,機械学習,深層学習を組み合わせたモデル構築の凝集的アプローチは,株価データの揮発性およびランダムな動きパターンから極めて効果的に学習できる,と我々は主張する。
  論文  参考訳（メタデータ） (2020-04-17T19:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。