Fugu-MT 論文翻訳(概要): Time Regularization in Optimal Time Variable Learning

論文の概要: Time Regularization in Optimal Time Variable Learning

arxiv url: http://arxiv.org/abs/2306.16111v1
Date: Wed, 28 Jun 2023 11:27:48 GMT
ステータス: 処理完了
システム内更新日: 2023-06-29 14:24:31.274247
Title: Time Regularization in Optimal Time Variable Learning
Title（参考訳）: 最適時間変数学習における時間正規化
Authors: Evelyn Herberg and Roland Herzog and Frederik K\"ohne
Abstract要約: 近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。離散力学系における時間的地平線に直接関係する正規化項を導入することにより、この概念を拡張する。本稿では,Residual Neural Networks(ResNets)に対する適応型プルーニング手法を提案する。提案した概念を、よく知られたMNISTとFashion MNISTデータセットの分類タスクに適用することによって、その結果が示される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recently, optimal time variable learning in deep neural networks (DNNs) was introduced in arXiv:2204.08528. In this manuscript we extend the concept by introducing a regularization term that directly relates to the time horizon in discrete dynamical systems. Furthermore, we propose an adaptive pruning approach for Residual Neural Networks (ResNets), which reduces network complexity without compromising expressiveness, while simultaneously decreasing training time. The results are illustrated by applying the proposed concepts to classification tasks on the well known MNIST and Fashion MNIST data sets. Our PyTorch code is available on https://github.com/frederikkoehne/time_variable_learning.
Abstract（参考訳）: 近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。この写本では、離散力学系の時間軸に直接関係する正規化項を導入することで概念を拡張している。さらに,Residual Neural Networks (ResNets) に対する適応型プルーニング手法を提案する。この結果は、よく知られたMNISTとFashion MNISTデータセットの分類タスクに提案された概念を適用することで説明される。 pytorchコードはhttps://github.com/frederikkoehne/time_variable_learningで利用できます。

関連論文リスト

Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文参考訳（メタデータ） (2023-08-06T21:10:30Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-04-15T08:17:18Z)
TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time Series Classification [6.76723360505692]
未定義のグラフ構造を使わずに隠蔽時間依存を抽出できる新しい時間的動的グラフネットワーク(TodyNet)を提案する。 26のUEAベンチマークデータセットの実験は、提案されたTodyNetがMTSCタスクで既存のディープラーニングベースのメソッドより優れていることを示している。
論文参考訳（メタデータ） (2023-04-11T09:21:28Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Task-Synchronized Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
論文参考訳（メタデータ） (2022-04-11T15:27:40Z)
AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文参考訳（メタデータ） (2020-06-11T16:36:31Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)
Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher [17.20906062729132]
本稿では,ガイド付きワープと呼ばれる新しい時系列データ拡張を提案する。ガイド付きワープは動的時間ワープ(DTW)と形状DTWの要素アライメント特性を利用する。我々は、深部畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)を用いて、2015 UCR Time Series Archiveにある85のデータセットすべてに対する手法の評価を行った。
論文参考訳（メタデータ） (2020-04-19T06:33:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。