論文の概要: Reducing hyperparameter dependence by external timescale tailoring
- arxiv url: http://arxiv.org/abs/2307.08603v2
- Date: Tue, 24 Oct 2023 07:06:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 00:14:35.340944
- Title: Reducing hyperparameter dependence by external timescale tailoring
- Title(参考訳): 外部時間スケール調整によるハイパーパラメータ依存性の低減
- Authors: Lina C. Jaurigue and Kathy L\"udge
- Abstract要約: 本研究では,外部制御可能なタスク固有時間尺度が貯水池計算手法の性能に与える影響について検討する。
この結果は主に過去の入力の記憶を必要とする時間的タスクに関係している。
貯水池計算手法にタスク固有の時間スケールを含める様々な方法を検討し、時間多重・空間多重の貯水池計算の両面から、メッセージの普遍性を実証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task specific hyperparameter tuning in reservoir computing is an open issue,
and is of particular relevance for hardware implemented reservoirs. We
investigate the influence of directly including externally controllable task
specific timescales on the performance and hyperparameter sensitivity of
reservoir computing approaches. We show that the need for hyperparameter
optimisation can be reduced if timescales of the reservoir are tailored to the
specific task. Our results are mainly relevant for temporal tasks requiring
memory of past inputs, for example chaotic timeseries prediciton. We consider
various methods of including task specific timescales in the reservoir
computing approach and demonstrate the universality of our message by looking
at both time-multiplexed and spatially multiplexed reservoir computing.
- Abstract(参考訳): 貯水池コンピューティングにおけるタスク特化ハイパーパラメータチューニングはオープンな問題であり、特にハードウェア実装型貯水池との関連性が高い。
本研究では,外部制御可能なタスク特定時間スケールが貯留層計算手法の性能とハイパーパラメータ感度に与える影響について検討する。
その結果,リザーバの時間スケールが特定のタスクに合わせて調整された場合,ハイパーパラメータの最適化の必要性を低減できることがわかった。
この結果は主に過去の入力の記憶を必要とする時間的タスクに関係している。
貯水池計算手法にタスク固有の時間スケールを含める様々な方法を検討し、時間多重・空間多重の貯水池計算の両面から、メッセージの普遍性を実証する。
関連論文リスト
- TimeXer: Empowering Transformers for Time Series Forecasting with
Exogenous Variables [82.07393844821522]
内因性変数の予測を強化するために外部情報を利用する新しいフレームワークであるTimeXerを提案する。
TimeXerは、内在変数による時系列予測を大幅に改善し、12の実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-29T11:54:35Z) - Squeezing as a resource for time series processing in quantum reservoir
computing [3.072340427031969]
時系列処理におけるニューロモルフィック機械学習におけるスクイーズの効果について考察する。
特に,貯水池計算のためのループ型フォトニックアーキテクチャについて考察する。
マルチモードスクイーズによりアクセス可能なメモリが向上し,複数のベンチマーク時間的タスクのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-10-11T11:45:31Z) - Solving the time-complexity problem and tuning the performance of
quantum reservoir computing by artificial memory restriction [0.0]
時間的タスクを解くための量子貯水池計算の適合性は、測定が行われると量子システムの崩壊によって妨げられる。
少数の入力のみを用いて量子貯水池のメモリを人工的に制限することを提案する。
線形および二次的なアルゴリズムを,完全連結な逆イジングモデルと量子プロセッサモデルに対して数値的に検討する。
論文 参考訳(メタデータ) (2023-06-22T13:37:34Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳(メタデータ) (2023-05-02T07:41:16Z) - Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。
我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。
この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
論文 参考訳(メタデータ) (2023-04-20T19:15:02Z) - Scalable Batch Acquisition for Deep Bayesian Active Learning [70.68403899432198]
ディープラーニングでは、各ステップでマークアップする複数の例を選択することが重要です。
BatchBALDのような既存のソリューションでは、多くの例を選択する際に大きな制限がある。
本稿では,より計算効率のよいLarge BatchBALDアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-13T11:45:17Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳(メタデータ) (2022-10-02T06:58:49Z) - Hyperparameter Importance for Machine Learning Algorithms [0.0]
提案するデータのサブセットの重要性は、弱い条件下での人口データと一致している。
数値実験により、提案された重要性は一貫しており、多くの計算資源を節約できることが示された。
論文 参考訳(メタデータ) (2022-01-13T18:44:53Z) - Natural quantum reservoir computing for temporal information processing [4.785845498722406]
貯留層計算(Reservoir computing)は、人工的または物理的散逸動態を利用する時間情報処理システムである。
本稿では, 量子ビットに付加される自然ノイズによって散逸特性が供給される貯水池として, 現実の超伝導量子コンピューティングデバイスを用いる方法を提案する。
論文 参考訳(メタデータ) (2021-07-13T01:58:57Z) - Temporal Memory Relation Network for Workflow Recognition from Surgical
Video [53.20825496640025]
本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。
我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
論文 参考訳(メタデータ) (2021-03-30T13:20:26Z) - Limitations of the recall capabilities in delay based reservoir
computing systems [0.0]
我々は,遅延型貯水池コンピュータのメモリ容量を,ホップ正規形を非線形性として解析する。
物理的実現の可能性としては、外部キャビティを持つレーザーが考えられる。
論文 参考訳(メタデータ) (2020-09-16T13:54:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。