論文の概要: Reducing hyperparameter dependence by external timescale tailoring

• arxiv url: http://arxiv.org/abs/2307.08603v1
• Date: Mon, 17 Jul 2023 16:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 12:16:24.875682
• Title: Reducing hyperparameter dependence by external timescale tailoring
• Title（参考訳）: 外部時間スケール調整によるハイパーパラメータ依存性の低減
• Authors: Lina C. Jaurigue and Kathy L\"udge
• Abstract要約: 本研究では,外部制御可能なタスク固有時間尺度が貯水池計算手法の性能に与える影響について検討する。 この結果は主に過去の入力の記憶を必要とする時間的タスクに関係している。 貯水池計算手法にタスク固有の時間スケールを含める様々な方法を検討し、時間多重・空間多重の貯水池計算の両面から、メッセージの普遍性を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task specific hyperparameter tuning in reservoir computing is an open issue, and is of particular relevance for hardware implemented reservoirs. We investigate the influence of directly including externally controllable task specific timescales on the performance and hyperparameter sensitivity of reservoir computing approaches. We show that the need for hyperparameter optimisation can be reduced if timescales of the reservoir are tailored to the specific task. Our results are mainly relevant for temporal tasks requiring memory of past inputs, for example chaotic timeseries prediciton. We consider various methods of including task specific timescales in the reservoir computing approach and demonstrate the universality of our message by looking at both time-multiplexed and spatially multiplexed reservoir computing.
• Abstract（参考訳）: 貯水池コンピューティングにおけるタスク特化ハイパーパラメータチューニングはオープンな問題であり、特にハードウェア実装型貯水池との関連性が高い。 本研究では,外部制御可能なタスク特定時間スケールが貯留層計算手法の性能とハイパーパラメータ感度に与える影響について検討する。 その結果,リザーバの時間スケールが特定のタスクに合わせて調整された場合,ハイパーパラメータの最適化の必要性を低減できることがわかった。 この結果は主に過去の入力の記憶を必要とする時間的タスクに関係している。 貯水池計算手法にタスク固有の時間スケールを含める様々な方法を検討し、時間多重・空間多重の貯水池計算の両面から、メッセージの普遍性を実証する。

関連論文リスト

• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Squeezing as a resource for time series processing in quantum reservoir computing [3.072340427031969]
  時系列処理におけるニューロモルフィック機械学習におけるスクイーズの効果について考察する。 特に,貯水池計算のためのループ型フォトニックアーキテクチャについて考察する。 マルチモードスクイーズによりアクセス可能なメモリが向上し,複数のベンチマーク時間的タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-11T11:45:31Z)
• Solving the time-complexity problem and tuning the performance of quantum reservoir computing by artificial memory restriction [0.0]
  時間的タスクを解くための量子貯水池計算の適合性は、測定が行われると量子システムの崩壊によって妨げられる。 少数の入力のみを用いて量子貯水池のメモリを人工的に制限することを提案する。 線形および二次的なアルゴリズムを,完全連結な逆イジングモデルと量子プロセッサモデルに対して数値的に検討する。
  論文  参考訳（メタデータ） (2023-06-22T13:37:34Z)
• Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
  我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。 我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。 この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-20T19:15:02Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Hyperparameter Importance for Machine Learning Algorithms [0.0]
  提案するデータのサブセットの重要性は、弱い条件下での人口データと一致している。 数値実験により、提案された重要性は一貫しており、多くの計算資源を節約できることが示された。
  論文  参考訳（メタデータ） (2022-01-13T18:44:53Z)
• Natural quantum reservoir computing for temporal information processing [4.785845498722406]
  貯留層計算(Reservoir computing)は、人工的または物理的散逸動態を利用する時間情報処理システムである。 本稿では, 量子ビットに付加される自然ノイズによって散逸特性が供給される貯水池として, 現実の超伝導量子コンピューティングデバイスを用いる方法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T01:58:57Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• Limitations of the recall capabilities in delay based reservoir computing systems [0.0]
  我々は,遅延型貯水池コンピュータのメモリ容量を,ホップ正規形を非線形性として解析する。 物理的実現の可能性としては、外部キャビティを持つレーザーが考えられる。
  論文  参考訳（メタデータ） (2020-09-16T13:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。