論文の概要: Neural SDEs for Conditional Time Series Generation and the
Signature-Wasserstein-1 metric
- arxiv url: http://arxiv.org/abs/2301.01315v1
- Date: Tue, 3 Jan 2023 19:08:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 15:22:53.313737
- Title: Neural SDEs for Conditional Time Series Generation and the
Signature-Wasserstein-1 metric
- Title(参考訳): 条件付き時系列生成のためのニューラルSDEとシグナチャ・ワッサースタイン1計量
- Authors: Pere D\'iaz Lozano, Toni Lozano Bag\'en, Josep Vives
- Abstract要約: (連続) 生成共役ネットワーク(GAN)は, 非常に高次元空間上の(条件付き)分布を近似する能力により, 近年大きな成功を収めている。
非常に不安定で、特に時系列設定でトレーニングするのに計算コストがかかる。
近年、(条件付き)GANフレームワークによって与えられるmin-maxの定式化を古典的な最小化問題に変換することができるパスのシグネチャと呼ばれる、粗いパス理論におけるキーオブジェクトの使用が提案されている。
この方法はメモリコストの点で非常に高価であり、時には禁止されることがある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: (Conditional) Generative Adversarial Networks (GANs) have found great success
in recent years, due to their ability to approximate (conditional)
distributions over extremely high dimensional spaces. However, they are highly
unstable and computationally expensive to train, especially in the time series
setting. Recently, it has been proposed the use of a key object in rough path
theory, called the signature of a path, which is able to convert the min-max
formulation given by the (conditional) GAN framework into a classical
minimization problem. However, this method is extremely expensive in terms of
memory cost, sometimes even becoming prohibitive. To overcome this, we propose
the use of \textit{Conditional Neural Stochastic Differential Equations}, which
have a constant memory cost as a function of depth, being more memory efficient
than traditional deep learning architectures. We empirically test that this
proposed model is more efficient than other classical approaches, both in terms
of memory cost and computational time, and that it usually outperforms them in
terms of performance.
- Abstract(参考訳): (コンディション)
GAN(Generative Adversarial Networks)は、超高次元空間上の(条件付き)分布を近似する能力により、近年大きな成功を収めている。
しかし、それらは非常に不安定で、特に時系列設定でトレーニングするのに計算コストがかかる。
近年、(条件付き)ganフレームワークによって与えられるmin-max定式化を古典的最小化問題に変換することができる、経路のシグネチャと呼ばれるラフパス理論におけるキーオブジェクトの使用が提案されている。
しかし、この方法はメモリコストの面では非常に高価であり、時には禁止されることもある。
これを解決するために,深度関数としてのメモリコストが一定であり,従来のディープラーニングアーキテクチャよりもメモリ効率がよい「textit{Conditional Neural Stochastic Differential Equations}」を提案する。
我々は,提案モデルがメモリコストと計算時間の両方において他の古典的手法よりも効率的であり,性能的にも性能的に優れていることを実証的に検証した。
関連論文リスト
- A multiobjective continuation method to compute the regularization path
of deep neural networks [1.534667887016089]
線形モデルに基づく機械学習アプローチでは、疎外解と非正規化解との間に接続経路が存在する。
本稿では,上記の目的に対して,パレートフロント全体の近似を可能にするアルゴリズムを提案する。
さらに、正規化パスの知識がネットワークパラメトリゼーションの一般化を可能にすることを実証する。
論文 参考訳(メタデータ) (2023-08-23T10:08:52Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳(メタデータ) (2023-02-03T03:19:14Z) - Avoiding Barren Plateaus with Classical Deep Neural Networks [0.0]
VQA(Vari quantum algorithm)は、ノイズ中間スケール量子デバイス時代において最も有望なアルゴリズムの一つである。
VQAは、化学シミュレーション、最適化問題、量子ニューラルネットワークなど、様々なタスクに適用される。
本稿では,VQA入力パラメータにおける古典的ニューラルネットワークの利用がバレンプラトー現象を緩和する方法について報告する。
論文 参考訳(メタデータ) (2022-05-26T15:14:01Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳(メタデータ) (2022-04-18T17:53:44Z) - DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。
我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。
実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
論文 参考訳(メタデータ) (2022-03-02T15:25:27Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T02:39:04Z) - PDE-Based Optimal Strategy for Unconstrained Online Learning [40.61498562988079]
部分微分方程式(PDE)を解くことによって時間変化ポテンシャル関数を生成するフレームワークを提案する。
我々のフレームワークは、いくつかの古典的なポテンシャルを回復し、より重要なことは、新しいものを設計するための体系的なアプローチを提供する。
これは最適なリード定数を持つ最初のパラメータフリーアルゴリズムである。
論文 参考訳(メタデータ) (2022-01-19T22:21:21Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳(メタデータ) (2021-06-28T00:14:11Z) - Optimal Stopping via Randomized Neural Networks [6.677219861416146]
本稿では、標準基底関数やディープニューラルネットワークの代わりにランダム化されたニューラルネットワークを使用することの利点について述べる。
我々のアプローチは、既存のアプローチがますます非現実的になるような高次元問題に適用できる。
いずれにせよ、我々のアルゴリズムは、最先端や他の関連する機械学習アプローチよりも時間的に優れている。
論文 参考訳(メタデータ) (2021-04-28T09:47:21Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳(メタデータ) (2020-12-28T17:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。