論文の概要: SigGate: Enhancing Recurrent Neural Networks with Signature-Based Gating Mechanisms

• arxiv url: http://arxiv.org/abs/2502.09318v1
• Date: Thu, 13 Feb 2025 13:33:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:47:36.291682
• Title: SigGate: Enhancing Recurrent Neural Networks with Signature-Based Gating Mechanisms
• Title（参考訳）: SigGate: シグナチャベースのゲーティング機構を備えたリカレントニューラルネットワークの実現
• Authors: Rémi Genet, Hugo Inzirillo,
• Abstract要約: 本稿では、経路シグネチャをゲーティング機構に組み込むことで、リカレントニューラルネットワーク(RNN)を強化する新しいアプローチを提案する。 本手法は,Long Short-Term Memory (LSTM) と Gated Recurrent Unit (GRU) アーキテクチャをそれぞれ,リセットゲートとリセットゲートを学習可能なパスシグネチャに置き換えることで変更する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we propose a novel approach that enhances recurrent neural networks (RNNs) by incorporating path signatures into their gating mechanisms. Our method modifies both Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) architectures by replacing their forget and reset gates, respectively, with learnable path signatures. These signatures, which capture the geometric features of the entire path history, provide a richer context for controlling information flow through the network's memory. This modification allows the networks to make memory decisions based on the full historical context rather than just the current input and state. Through experimental studies, we demonstrate that our Signature-LSTM (SigLSTM) and Signature-GRU (SigGRU) models outperform their traditional counterparts across various sequential learning tasks. By leveraging path signatures in recurrent architectures, this method offers new opportunities to enhance performance in time series analysis and forecasting applications.
• Abstract（参考訳）: 本稿では、経路シグネチャをゲーティング機構に組み込むことで、リカレントニューラルネットワーク(RNN)を強化する新しいアプローチを提案する。 本手法は,Long Short-Term Memory (LSTM) と Gated Recurrent Unit (GRU) アーキテクチャをそれぞれ,リセットゲートとリセットゲートを学習可能なパスシグネチャに置き換えることで変更する。 これらのシグネチャは、パス履歴全体の幾何学的特徴をキャプチャし、ネットワークのメモリを流れる情報を制御するためのよりリッチなコンテキストを提供する。 この変更により、ネットワークは現在の入力と状態だけでなく、完全な履歴コンテキストに基づいてメモリ決定を行うことができる。 実験により,我々のSignature-LSTM(SigLSTM)とSignature-GRU(SigGRU)モデルが,様々な逐次学習タスクにおいて従来のモデルよりも優れていることを示した。 繰り返しアーキテクチャにおける経路シグネチャを活用することにより、時系列解析および予測アプリケーションの性能を高める新たな機会を提供する。

関連論文リスト

• SigKAN: Signature-Weighted Kolmogorov-Arnold Networks for Time Series [0.0]
  学習可能な経路シグネチャとコルモゴロフ・アルノルドネットワーク(KAN)を用いた多変量関数近似の新たな手法を提案する。 学習可能な経路シグネチャを用いて、kansが取得した値を重み付けすることで、これらのネットワークの学習能力を向上し、パスの重要な幾何学的特徴を捉える。
  論文  参考訳（メタデータ） (2024-06-25T18:58:39Z)
• Enhancing Automatic Modulation Recognition through Robust Global Feature Extraction [12.868218616042292]
  変調信号は長時間の時間依存性を示す。 人間の専門家は星座図のパターンを分析し、変調スキームを分類する。 古典的な畳み込みベースのネットワークは、局所的な特徴を抽出することに長けているが、グローバルな関係を捉えるのに苦労している。
  論文  参考訳（メタデータ） (2024-01-02T06:31:24Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Applications of Lattice Gauge Equivariant Neural Networks [0.0]
  格子ゲージ同変畳み込みニューラルネットワーク(L-CNN) L-CNNは従来のニューラルネットワークよりも、異なるサイズの格子をより一般化することができる。 我々はL-CNNのWilsonフローや連続正規化フローへの応用の可能性について述べる。
  論文  参考訳（メタデータ） (2022-12-01T19:32:42Z)
• Learnable Filters for Geometric Scattering Modules [64.03877398967282]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2022-08-15T22:30:07Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Logsig-RNN: a novel network for robust and efficient skeleton-based action recognition [3.775860173040509]
  我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。 特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
  論文  参考訳（メタデータ） (2021-10-25T14:47:15Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。