論文の概要: Fast Saturating Gate for Learning Long Time Scales with Recurrent Neural
Networks
- arxiv url: http://arxiv.org/abs/2210.01348v1
- Date: Tue, 4 Oct 2022 03:32:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:14:41.957069
- Title: Fast Saturating Gate for Learning Long Time Scales with Recurrent Neural
Networks
- Title(参考訳): リカレントニューラルネットワークによる長時間学習のための高速飽和ゲート
- Authors: Kentaro Ohno, Sekitoshi Kanai, Yasutoshi Ida
- Abstract要約: 簡単な関数合成による入力に対して2倍の指数収束率を持つ高速ゲートと呼ばれるゲート関数を提案する。
提案手法は, 非常に長い時間スケールを含むベンチマークタスクにおいて, 精度と計算効率において, 従来の手法よりも優れていた。
- 参考スコア(独自算出の注目度): 13.518582483147325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gate functions in recurrent models, such as an LSTM and GRU, play a central
role in learning various time scales in modeling time series data by using a
bounded activation function. However, it is difficult to train gates to capture
extremely long time scales due to gradient vanishing of the bounded function
for large inputs, which is known as the saturation problem. We closely analyze
the relation between saturation of the gate function and efficiency of the
training. We prove that the gradient vanishing of the gate function can be
mitigated by accelerating the convergence of the saturating function, i.e.,
making the output of the function converge to 0 or 1 faster. Based on the
analysis results, we propose a gate function called fast gate that has a doubly
exponential convergence rate with respect to inputs by simple function
composition. We empirically show that our method outperforms previous methods
in accuracy and computational efficiency on benchmark tasks involving extremely
long time scales.
- Abstract(参考訳): LSTMやGRUのような反復モデルにおけるゲート関数は、有界活性化関数を用いて時系列データをモデル化する際の様々な時間スケールの学習において中心的な役割を果たす。
しかし, 飽和問題として知られる大入力の有界関数の勾配の消失により, ゲートが極めて長い時間スケールを取るように訓練することは困難である。
ゲート関数の飽和度とトレーニングの効率との関係を詳細に分析する。
ゲート関数の勾配の消失は飽和関数の収束を加速することで緩和できる、すなわち関数の出力を0または1に早く収束させることで証明する。
解析結果に基づいて、簡単な関数合成による入力に対して2倍の指数収束率を持つ高速ゲートと呼ばれるゲート関数を提案する。
提案手法は,非常に長い時間スケールを含むベンチマークタスクにおいて,従来の手法よりも精度と計算効率が優れていることを示す。
関連論文リスト
- Temporal Difference Learning with Compressed Updates: Error-Feedback
meets Reinforcement Learning [32.937264507807214]
一般的な強化学習アルゴリズムは、同様の摂動に対して堅牢であることを示す。
我々の研究は、一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを初めて考慮したものである。
論文 参考訳(メタデータ) (2023-01-03T04:09:38Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳(メタデータ) (2022-03-02T22:35:58Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - ST-MTL: Spatio-Temporal Multitask Learning Model to Predict Scanpath
While Tracking Instruments in Robotic Surgery [14.47768738295518]
トラッキング機器によるタスク指向の注意の学習は、画像誘導型ロボット手術において大きな可能性を秘めている。
本稿では,リアルタイムの手術機器分割とタスク指向唾液度検出のための共有エンコーダとシンク時デコーダを用いたエンドツーエンドマルチタスク学習(ST-MTL)モデルを提案する。
本稿では,各デコーダの独立勾配を計算することで,非同期時間最適化手法を提案する。
最先端のセグメンテーションとサリエンシ手法と比較して、我々のモデルは評価指標よりも優れており、挑戦において優れた性能を生んでいる。
論文 参考訳(メタデータ) (2021-12-10T15:20:27Z) - Accurate methods for the analysis of strong-drive effects in parametric
gates [94.70553167084388]
正確な数値と摂動解析手法を用いて効率的にゲートパラメータを抽出する方法を示す。
我々は,$i$SWAP, Control-Z, CNOT など,異なる種類のゲートに対する最適操作条件を同定する。
論文 参考訳(メタデータ) (2021-07-06T02:02:54Z) - Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。
実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文 参考訳(メタデータ) (2021-06-03T17:05:40Z) - Implementing a Fast Unbounded Quantum Fanout Gate Using Power-Law
Interactions [0.9634136878988853]
距離において1/ラルファ$の強度が減衰するパワーロー相互作用は、情報処理のための実験的に実現可能な資源を提供する。
我々はこれらの相互作用のパワーを活用して、任意の数のターゲットを持つ高速量子ファンアウトゲートを実装する。
我々は、ファリングが古典的に難解であるという標準的な仮定の下で、$alpha le D$ のパワーロー系は、短時間でも古典的にシミュレートすることは困難であることを示す。
論文 参考訳(メタデータ) (2020-07-01T18:00:00Z) - Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-12T17:51:30Z) - On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。
学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文 参考訳(メタデータ) (2020-04-15T09:52:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。