論文の概要: Neural SDEs for Conditional Time Series Generation and the
Signature-Wasserstein-1 metric
- arxiv url: http://arxiv.org/abs/2301.01315v1
- Date: Tue, 3 Jan 2023 19:08:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 15:22:53.313737
- Title: Neural SDEs for Conditional Time Series Generation and the
Signature-Wasserstein-1 metric
- Title（参考訳）: 条件付き時系列生成のためのニューラルSDEとシグナチャ・ワッサースタイン1計量
- Authors: Pere D\'iaz Lozano, Toni Lozano Bag\'en, Josep Vives
- Abstract要約: (連続) 生成共役ネットワーク(GAN)は, 非常に高次元空間上の(条件付き)分布を近似する能力により, 近年大きな成功を収めている。
非常に不安定で、特に時系列設定でトレーニングするのに計算コストがかかる。
近年、(条件付き)GANフレームワークによって与えられるmin-maxの定式化を古典的な最小化問題に変換することができるパスのシグネチャと呼ばれる、粗いパス理論におけるキーオブジェクトの使用が提案されている。
この方法はメモリコストの点で非常に高価であり、時には禁止されることがある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: (Conditional) Generative Adversarial Networks (GANs) have found great success
in recent years, due to their ability to approximate (conditional)
distributions over extremely high dimensional spaces. However, they are highly
unstable and computationally expensive to train, especially in the time series
setting. Recently, it has been proposed the use of a key object in rough path
theory, called the signature of a path, which is able to convert the min-max
formulation given by the (conditional) GAN framework into a classical
minimization problem. However, this method is extremely expensive in terms of
memory cost, sometimes even becoming prohibitive. To overcome this, we propose
the use of \textit{Conditional Neural Stochastic Differential Equations}, which
have a constant memory cost as a function of depth, being more memory efficient
than traditional deep learning architectures. We empirically test that this
proposed model is more efficient than other classical approaches, both in terms
of memory cost and computational time, and that it usually outperforms them in
terms of performance.
- Abstract（参考訳）: (コンディション)
GAN(Generative Adversarial Networks)は、超高次元空間上の(条件付き)分布を近似する能力により、近年大きな成功を収めている。
しかし、それらは非常に不安定で、特に時系列設定でトレーニングするのに計算コストがかかる。
近年、(条件付き)ganフレームワークによって与えられるmin-max定式化を古典的最小化問題に変換することができる、経路のシグネチャと呼ばれるラフパス理論におけるキーオブジェクトの使用が提案されている。
しかし、この方法はメモリコストの面では非常に高価であり、時には禁止されることもある。
これを解決するために,深度関数としてのメモリコストが一定であり,従来のディープラーニングアーキテクチャよりもメモリ効率がよい「textit{Conditional Neural Stochastic Differential Equations}」を提案する。
我々は,提案モデルがメモリコストと計算時間の両方において他の古典的手法よりも効率的であり,性能的にも性能的に優れていることを実証的に検証した。
関連論文リスト
- FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。
当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
論文 参考訳（メタデータ） (2024-11-12T14:41:07Z) - Sum-of-Squares inspired Quantum Metaheuristic for Polynomial Optimization with the Hadamard Test and Approximate Amplitude Constraints [76.53316706600717]
最近提案された量子アルゴリズムarXiv:2206.14999は半定値プログラミング(SDP)に基づいている
SDPにインスパイアされた量子アルゴリズムを2乗和に一般化する。
この結果から,本アルゴリズムは大きな問題に適応し,最もよく知られた古典学に近似することが示唆された。
論文 参考訳（メタデータ） (2024-08-14T19:04:13Z) - Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。
HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。
トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
論文 参考訳（メタデータ） (2024-04-16T06:34:08Z) - A multiobjective continuation method to compute the regularization path of deep neural networks [1.3654846342364308]
数値効率を保証し、モデルの解釈性を改善し、堅牢性を向上させるため、ディープニューラルネットワーク(DNN)では、スパシティは高い特徴である。
本稿では,数百万のパラメータを持つ高次元勾配に対して,上述の目的に対するスパースフロント全体を極めて効率的な方法で実現するアルゴリズムを提案する。
正規化パスの知識がネットワークパラメトリゼーションを十分に一般化することを示す。
論文 参考訳（メタデータ） (2023-08-23T10:08:52Z) - Avoiding Barren Plateaus with Classical Deep Neural Networks [0.0]
VQA(Vari quantum algorithm)は、ノイズ中間スケール量子デバイス時代において最も有望なアルゴリズムの一つである。
VQAは、化学シミュレーション、最適化問題、量子ニューラルネットワークなど、様々なタスクに適用される。
本稿では,VQA入力パラメータにおける古典的ニューラルネットワークの利用がバレンプラトー現象を緩和する方法について報告する。
論文 参考訳（メタデータ） (2022-05-26T15:14:01Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳（メタデータ） (2022-04-18T17:53:44Z) - DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。
我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。
実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
論文 参考訳（メタデータ） (2022-03-02T15:25:27Z) - PDE-Based Optimal Strategy for Unconstrained Online Learning [40.61498562988079]
部分微分方程式(PDE)を解くことによって時間変化ポテンシャル関数を生成するフレームワークを提案する。
我々のフレームワークは、いくつかの古典的なポテンシャルを回復し、より重要なことは、新しいものを設計するための体系的なアプローチを提供する。
これは最適なリード定数を持つ最初のパラメータフリーアルゴリズムである。
論文 参考訳（メタデータ） (2022-01-19T22:21:21Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳（メタデータ） (2021-06-28T00:14:11Z) - Optimal Stopping via Randomized Neural Networks [6.677219861416146]
本稿では、標準基底関数やディープニューラルネットワークの代わりにランダム化されたニューラルネットワークを使用することの利点について述べる。
我々のアプローチは、既存のアプローチがますます非現実的になるような高次元問題に適用できる。
いずれにせよ、我々のアルゴリズムは、最先端や他の関連する機械学習アプローチよりも時間的に優れている。
論文 参考訳（メタデータ） (2021-04-28T09:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。