論文の概要: Periodic Extrapolative Generalisation in Neural Networks

• arxiv url: http://arxiv.org/abs/2209.10280v1
• Date: Wed, 21 Sep 2022 11:47:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 15:33:32.431319
• Title: Periodic Extrapolative Generalisation in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける周期的外挿一般化
• Authors: Peter Belc\'ak, Roger Wattenhofer
• Abstract要約: 周期的な信号に対する外挿的一般化の問題を定式化する。 本稿では,古典的,人口ベース,最近提案された周期的アーキテクチャの一般化能力について検討する。 周期的および「スネーク」活性化関数は周期的外挿で一貫して失敗する。
• 参考スコア（独自算出の注目度）: 10.482805367361818
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The learning of the simplest possible computational pattern -- periodicity -- is an open problem in the research of strong generalisation in neural networks. We formalise the problem of extrapolative generalisation for periodic signals and systematically investigate the generalisation abilities of classical, population-based, and recently proposed periodic architectures on a set of benchmarking tasks. We find that periodic and "snake" activation functions consistently fail at periodic extrapolation, regardless of the trainability of their periodicity parameters. Further, our results show that traditional sequential models still outperform the novel architectures designed specifically for extrapolation, and that these are in turn trumped by population-based training. We make our benchmarking and evaluation toolkit, PerKit, available and easily accessible to facilitate future work in the area.
• Abstract（参考訳）: 最も単純な計算パターン -- 周期性 - の学習は、ニューラルネットワークにおける強力な一般化の研究において、オープンな問題である。 本稿では,周期的信号の補間的一般化の問題を定式化し,古典的,集団的,そして最近提案された一連のベンチマークタスクにおける周期的アーキテクチャの一般化能力を体系的に検討する。 周期性パラメータの訓練性にかかわらず、周期性および「スネーク」活性化関数は周期性外挿で一貫して失敗する。 さらに, 従来の逐次モデルでは外挿に特化して設計された新しいアーキテクチャよりも優れた性能を示し, 人口ベーストレーニングによってその性能が損なわれていることを示した。 ベンチマークと評価のツールキットであるPerKitを利用可能にしています。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• A Survey on Graph Neural Networks for Time Series: Forecasting, Classification, Imputation, and Anomaly Detection [98.41798478488101]
  時系列分析は、利用可能なデータに暗黙的な情報の富を解放するために不可欠である。 グラフニューラルネットワーク(GNN)の最近の進歩は、時系列解析のためのGNNベースのアプローチの急増につながっている。 この調査は、GNNベースの時系列研究に関する膨大な知識をまとめ、基礎、実践的応用、時系列分析のためのグラフニューラルネットワークの機会を強調します。
  論文  参考訳（メタデータ） (2023-07-07T08:05:03Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Taming Local Effects in Graph-based Spatiotemporal Forecasting [28.30604130617646]
  時相グラフニューラルネットワークは時系列予測に有効であることが示されている。 本稿では,グラフに基づく時間的予測におけるグローバル性と局所性の間の相互作用を理解することを目的とする。 このようなアーキテクチャにトレーニング可能なノード埋め込みを組み込むことを合理化するための方法論的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-02-08T14:18:56Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Neural Networks Fail to Learn Periodic Functions and How to Fix It [6.230751621285322]
  本稿では,ReLU, tanh, sigmoidなどの標準活性化関数が単純な周期関数の外挿を学ばないことを示す。 我々は、周期関数を学ぶために所望の周期的帰納バイアスを達成する新しいアクティベーションである$x + sin2(x)$を提案する。 実験により,提案手法を温度・財務データ予測に適用した。
  論文  参考訳（メタデータ） (2020-06-15T07:49:33Z)
• AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
  本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
  論文  参考訳（メタデータ） (2020-03-07T18:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。