論文の概要: Dreaming Learning

• arxiv url: http://arxiv.org/abs/2410.18156v1
• Date: Wed, 23 Oct 2024 09:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:03.570361
• Title: Dreaming Learning
• Title（参考訳）: 夢見る学習
• Authors: Alessandro Londei, Matteo Benati, Denise Lanzieri, Vittorio Loreto,
• Abstract要約: 機械学習システムに新しい情報を導入することは、以前に格納されたデータに干渉する可能性がある。 スチュアート・カウフマンの随伴可能性の概念に着想を得た学習アルゴリズムを提案する。 ニューラルネットワークは、予想と異なる統計特性を持つデータシーケンスを円滑に受け入れ、統合することを前提としている。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License:
• Abstract: Incorporating novelties into deep learning systems remains a challenging problem. Introducing new information to a machine learning system can interfere with previously stored data and potentially alter the global model paradigm, especially when dealing with non-stationary sources. In such cases, traditional approaches based on validation error minimization offer limited advantages. To address this, we propose a training algorithm inspired by Stuart Kauffman's notion of the Adjacent Possible. This novel training methodology explores new data spaces during the learning phase. It predisposes the neural network to smoothly accept and integrate data sequences with different statistical characteristics than expected. The maximum distance compatible with such inclusion depends on a specific parameter: the sampling temperature used in the explorative phase of the present method. This algorithm, called Dreaming Learning, anticipates potential regime shifts over time, enhancing the neural network's responsiveness to non-stationary events that alter statistical properties. To assess the advantages of this approach, we apply this methodology to unexpected statistical changes in Markov chains and non-stationary dynamics in textual sequences. We demonstrated its ability to improve the auto-correlation of generated textual sequences by $\sim 29\%$ and enhance the velocity of loss convergence by $\sim 100\%$ in the case of a paradigm shift in Markov chains.
• Abstract（参考訳）: ディープラーニングシステムに新規性を組み込むことは、依然として困難な問題である。 機械学習システムに新しい情報を導入することは、以前に格納されたデータに干渉し、特に静止しないソースを扱う場合、グローバルモデルパラダイムを変更する可能性がある。 このような場合、検証エラー最小化に基づく従来のアプローチは、限られた利点を提供する。 そこで本稿では,Stuart Kauffman氏のAdjacent Possibleの概念にヒントを得たトレーニングアルゴリズムを提案する。 この新たなトレーニング手法は、学習期間中に新しいデータ空間を探索する。 ニューラルネットワークは、予想と異なる統計特性を持つデータシーケンスを円滑に受け入れ、統合することを前提としている。 このような包含物と互換性のある最大距離は、特定のパラメータ、すなわち、本手法の爆発相で使用されるサンプリング温度に依存する。 このアルゴリズムはDreaming Learningと呼ばれ、時間とともに潜在的な状態の変化を予測し、統計特性を変化させる非定常事象に対するニューラルネットワークの応答性を高める。 このアプローチの利点を評価するため,マルコフ連鎖の予期せぬ統計的変化とテキスト列の非定常力学に本手法を適用した。 マルコフ連鎖のパラダイムシフトの場合、生成したテキストシーケンスの自動相関を$\sim 29\%$で改善し、損失収束速度を$\sim 100\%$で向上する能力を示した。

関連論文リスト

• Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset [98.52916361979503]
  非定常性を自動的にモデル化し適応する新しい学習手法を導入する。 非定常的・非政治的強化学習環境において,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:32:40Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning [1.8175282137722093]
  科学機械学習(SciML)における不確実性(UQ)は、SciMLの強力な予測力と、学習したモデルの信頼性を定量化する方法を組み合わせる。 我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDE)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。 我々はモデル予測を継続的に更新する際の計算上の利点を提供する新しいRacatiベースの方法論を開発した。
  論文  参考訳（メタデータ） (2024-04-12T20:54:01Z)
• Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
  概念の漂流に適応することは、機械学習において難しい課題である。 通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。 本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T08:47:46Z)
• Tracking changes using Kullback-Leibler divergence for the continual learning [2.0305676256390934]
  本稿では,多次元データストリームの確率分布の変化をモニタリングする新しい手法を提案する。 変化の速さの尺度として、人気のあるKulback-Leiblerの発散を分析する。 我々は,この指標を用いて,概念の漂流の発生を予測し,その性質を理解する方法を示す。
  論文  参考訳（メタデータ） (2022-10-10T17:30:41Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Stochastic embeddings of dynamical phenomena through variational autoencoders [1.7205106391379026]
  位相空間の再構成において,観測空間の次元性を高めるために認識ネットワークを用いる。 我々の検証は、このアプローチが元の状態空間に類似した状態空間を復元するだけでなく、新しい時系列を合成できることを示している。
  論文  参考訳（メタデータ） (2020-10-13T10:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。