論文の概要: Efficient implementations of echo state network cross-validation
- arxiv url: http://arxiv.org/abs/2006.11282v2
- Date: Thu, 3 Dec 2020 19:12:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 03:23:03.789190
- Title: Efficient implementations of echo state network cross-validation
- Title（参考訳）: エコー状態ネットワーククロスバリデーションの効率的な実装
- Authors: Mantas Luko\v{s}evi\v{c}ius and Arnas Uselis
- Abstract要約: CV(Cross-Validation)は、時系列モデリングではまだ一般的ではない。
本稿では,具体的な時間間隔を予測するための時系列のCVについて論じる。
本稿では,効率的な実装アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background/introduction: Cross-Validation (CV) is still uncommon in time
series modeling. Echo State Networks (ESNs), as a prime example of Reservoir
Computing (RC) models, are known for their fast and precise one-shot learning,
that often benefit from good hyper-parameter tuning. This makes them ideal to
change the status quo.
Methods: We discuss CV of time series for predicting a concrete time interval
of interest, suggest several schemes for cross-validating ESNs and introduce an
efficient algorithm for implementing them. This algorithm is presented as two
levels of optimizations of doing $k$-fold CV. Training an RC model typically
consists of two stages: (i) running the reservoir with the data and (ii)
computing the optimal readouts. The first level of our optimization addresses
the most computationally expensive part (i) and makes it remain constant
irrespective of $k$. It dramatically reduces reservoir computations in any type
of RC system and is enough if $k$ is small. The second level of optimization
also makes the (ii) part remain constant irrespective of large $k$, as long as
the dimension of the output is low. We discuss when the proposed validation
schemes for ESNs could be beneficial, three options for producing the final
model and empirically investigate them on six different real-world datasets, as
well as do empirical computation time experiments. We provide the code in an
online repository.
Results: Proposed CV schemes give better and more stable test performance in
all the six different real-world datasets, three task types. Empirical run
times confirm our complexity analysis.
Conclusions: In most situations $k$-fold CV of ESNs and many other RC models
can be done for virtually the same time and space complexity as a simple
single-split validation. This enables CV to become a standard practice in RC.
- Abstract（参考訳）: バックグラウンド/インロダクション: クロスバリデーション(CV)は、時系列モデリングではまだ珍しくない。
Echo State Networks (ESN) はReservoir Computing (RC) モデルの主要な例として、高速で正確なワンショット学習で知られており、しばしば優れたハイパーパラメータチューニングの恩恵を受けている。
これにより現状を変えるのが理想的だ。
方法: 具体的な時間間隔を予測するための時系列のCVについて検討し, クロスバリデーションESNのいくつかのスキームを提案し, 実装のための効率的なアルゴリズムを提案する。
このアルゴリズムは、$k$-fold CVの最適化の2つのレベルとして示される。
RCモデルのトレーニングは通常、2つのステージで構成される。
(i)データで貯水池を動かし、
(ii) 最適な読み出しの計算。
最適化の第1段階は 計算コストが最も高く
(i) であり、k$ に関係なく一定である。
RCシステムの任意の種類の貯水池計算を劇的に減らし、$k$が小さければ十分である。
最適化の第2のレベルも
(ii)アウトプットの次元が小さい限り、大きな$k$に関係なく、部分は常に一定である。
提案手法がいつ有効になるか,最終モデル作成の3つの選択肢,実世界の6つのデータセット上での検証,実証計算実験,などについて論じる。
コードはオンラインリポジトリで提供します。
結果:提案するcvスキームは,6つの実世界のデータセット,3つのタスクタイプにおいて,より優れた,より安定したテストパフォーマンスを提供する。
経験的な実行時間は、複雑性分析を確認します。
結論: ほとんどの場合、ESNや他のRCモデルの$k$-fold CVは、単純な単一分割検証と同じ時間と空間の複雑さで実行できます。
これによりCVはRCの標準練習となる。
関連論文リスト
- REP: Resource-Efficient Prompting for On-device Continual Learning [23.92661395403251]
オンデバイス連続学習(CL)は、モデル精度と資源効率の協調最適化を実践するために必要である。
CNNベースのCLは資源効率に優れており、ViTベースのCLはモデル性能に優れていると一般的に信じられている。
本稿では,プロンプトベースのリハーサルフリー手法を特化して資源効率を向上させるREPを紹介する。
論文 参考訳（メタデータ） (2024-06-07T09:17:33Z) - Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。
本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。
提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文 参考訳（メタデータ） (2023-11-20T17:44:40Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Finite-Time Analysis of Fully Decentralized Single-Timescale
Actor-Critic [4.94128206910124]
本稿では,アクタ,批評家,グローバル報酬推定器を交互に更新する,完全に分散化されたアクタ・クリティカル(AC)アルゴリズムを提案する。
このアルゴリズムは,Markovian サンプリングにおいて $tildemathcalO(epsilon-2)$ のサンプル複雑性を持つことを示す。
また、我々のアルゴリズムのローカルアクションプライバシ保護バージョンとその分析も提供する。
論文 参考訳（メタデータ） (2022-06-12T13:14:14Z) - An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
環境からの状態遷移を観察するのは費用がかかる。
標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。
本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
論文 参考訳（メタデータ） (2021-12-09T23:13:57Z) - Targeted Cross-Validation [23.689101487016266]
一般の重み付き$L$損失に基づいてモデルやプロシージャを選択するためのターゲットクロスバリデーション(TCV)を提案する。
我々は、TCVが$L$損失の下で最高のパフォーマンス候補を選択することに一貫性があることを示します。
本研究では,サンプルサイズの変化に応じて最適な候補を切り替えることにより,選択整合性の概念を広げる。
論文 参考訳（メタデータ） (2021-09-14T19:53:18Z) - Leave Zero Out: Towards a No-Cross-Validation Approach for Model
Selection [21.06860861548758]
cross validation (cv) はモデル選択の主要な作業馬である。
CVは、限られたデータの一部が検証のために保たなければならないため、保守的にバイアスのある推定に苦しむ。
CVは、繰り返しの訓練手順のために、例えば、耐え難い時間を要する傾向があります。
論文 参考訳（メタデータ） (2020-12-24T16:11:53Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z) - Approximate Cross-Validation for Structured Models [20.79997929155929]
金標準評価技術は構造化クロスバリデーション(CV)である
しかし、すでに拡張された学習アルゴリズムを何度も再実行する必要があるため、ここでのCVは違法に遅くなる可能性がある。
従来の研究では、近似クロスバリデーション(ACV)法が高速かつ確実な代替手段であることが示された。
論文 参考訳（メタデータ） (2020-06-23T00:06:03Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳（メタデータ） (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。