論文の概要: RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning

• arxiv url: http://arxiv.org/abs/2311.02123v1
• Date: Fri, 3 Nov 2023 07:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 19:23:36.918637
• Title: RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning
• Title（参考訳）: RigLSTM: 一般化可能なシーケンス学習のためのリカレントインディペンデントグリッドLSTM
• Authors: Ziyu Wang, Wenhao Jiang, Zixuan Zhang, Wei Tang, Junchi Yan
• Abstract要約: 本稿では,対象タスクの基盤となるモジュール構造を利用するために,リカレントな独立したGrid LSTM(RigLSTM)を提案する。 本モデルでは, セル選択, 入力特徴選択, 隠れ状態選択, ソフト状態更新を採用し, より優れた一般化を実現する。
• 参考スコア（独自算出の注目度）: 75.61681328968714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential processes in real-world often carry a combination of simple subsystems that interact with each other in certain forms. Learning such a modular structure can often improve the robustness against environmental changes. In this paper, we propose recurrent independent Grid LSTM (RigLSTM), composed of a group of independent LSTM cells that cooperate with each other, for exploiting the underlying modular structure of the target task. Our model adopts cell selection, input feature selection, hidden state selection, and soft state updating to achieve a better generalization ability on the basis of the recent Grid LSTM for the tasks where some factors differ between training and evaluation. Specifically, at each time step, only a fraction of cells are activated, and the activated cells select relevant inputs and cells to communicate with. At the end of one time step, the hidden states of the activated cells are updated by considering the relevance between the inputs and the hidden states from the last and current time steps. Extensive experiments on diversified sequential modeling tasks are conducted to show the superior generalization ability when there exist changes in the testing environment. Source code is available at \url{https://github.com/ziyuwwang/rig-lstm}.
• Abstract（参考訳）: 実世界の逐次過程は、しばしば特定の形で相互作用する単純なサブシステムの組み合わせを持つ。 このようなモジュール構造を学ぶことで、環境変化に対する堅牢性が向上する。 本稿では,対象タスクの基盤となるモジュール構造を利用するために,相互に協調する独立したlstmセル群からなるリカレント独立グリッドlstm(riglstm)を提案する。 本モデルでは, セル選択, 入力特徴選択, 隠れ状態選択, ソフト状態更新を採用し, トレーニングと評価の異なるタスクに対する最近のGrid LSTMに基づいて, より優れた一般化を実現する。 具体的には、各時間ステップで少数の細胞のみが活性化され、活性化された細胞は関連する入力と通信する細胞を選択する。 1つの時間ステップの終わりに、最後の時間ステップと現在の時間ステップからの入力と隠れ状態の関連性を考慮して、活性化された細胞の隠れ状態を更新する。 テスト環境に変化がある場合、より優れた一般化能力を示すために、多種多様な逐次モデリングタスクに関する広範囲な実験を行った。 ソースコードは \url{https://github.com/ziyuwang/rig-lstm} で入手できる。

関連論文リスト

• packetLSTM: Dynamic LSTM Framework for Streaming Data with Varying Feature Space [44.62845936150961]
  ストリーミングデータの入力特徴空間の変化を特徴とするオンライン学習問題について検討する。 次元変化ストリームをモデル化するために,パケットLSTMと呼ばれる動的LSTMに基づく新しい手法を提案する。 packetLSTMは5つのデータセットで最先端の結果を達成し、その基本原則はGRUやバニラRNNといった他のRNNタイプにも拡張されている。
  論文  参考訳（メタデータ） (2024-10-22T20:01:39Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• B-LSTM-MIONet: Bayesian LSTM-based Neural Operators for Learning the Response of Complex Dynamical Systems to Length-Variant Multiple Input Functions [6.75867828529733]
  マルチインプットディープニューラル演算子(MIONet)は、異なるバナッハ空間における複数の入力関数を可能にするためにDeepONetを拡張した。 MIONetは、出力位置の制約なしにデータセットグリッド間隔をトレーニングする柔軟性を提供する。 この作業はMIONetを再設計し、Long Short Term Memory(LSTM)を統合して、時間依存のデータからニューラル演算子を学ぶ。
  論文  参考訳（メタデータ） (2023-11-28T04:58:17Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Image Classification using Sequence of Pixels [3.04585143845864]
  本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。 本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
  論文  参考訳（メタデータ） (2022-09-23T09:42:44Z)
• MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation [104.48766162008815]
  本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。 マルチモダリティを最大限に活用できるフレームワークを設計するために、各モダリティは他のモダリティに対して正規化された自己監督信号を提供する。 正規化された擬似ラベルは、多数の多モードテスト時間適応シナリオにおいて安定した自己学習信号を生成する。
  論文  参考訳（メタデータ） (2022-04-27T02:28:12Z)
• Working Memory Connections for LSTM [51.742526187978726]
  ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。 数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
  論文  参考訳（メタデータ） (2021-08-31T18:01:30Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Alternating ConvLSTM: Learning Force Propagation with Alternate State Updates [29.011464047344614]
  本稿では, 変形可能な物体の力伝達機構をモデル化した交互畳み込み長短期記憶(Alt-ConvLSTM)を提案する。 数値PDE解法のフォワード法において,この手法が第1項と第2項の交互更新を模倣することを示す。 ヒト軟組織シミュレーションにおけるAlt-ConvLSTMの有効性を検討した。
  論文  参考訳（メタデータ） (2020-06-14T06:43:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。