論文の概要: On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era

• arxiv url: http://arxiv.org/abs/2402.08132v2
• Date: Wed, 14 Feb 2024 13:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 11:54:50.425172
• Title: On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era
• Title（参考訳）: 長周期連続モデルの復活について --トランスフォーマー時代の調査と研究機会-
• Authors: Matteo Tiezzi, Michele Casoni, Alessandro Betti, Tommaso Guidi, Marco Gori and Stefano Melacci
• Abstract要約: この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。 長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
• 参考スコア（独自算出の注目度）: 59.279784235147254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A longstanding challenge for the Machine Learning community is the one of developing models that are capable of processing and learning from very long sequences of data. The outstanding results of Transformers-based networks (e.g., Large Language Models) promotes the idea of parallel attention as the key to succeed in such a challenge, obfuscating the role of classic sequential processing of Recurrent Models. However, in the last few years, researchers who were concerned by the quadratic complexity of self-attention have been proposing a novel wave of neural models, which gets the best from the two worlds, i.e., Transformers and Recurrent Nets. Meanwhile, Deep Space-State Models emerged as robust approaches to function approximation over time, thus opening a new perspective in learning from sequential data, followed by many people in the field and exploited to implement a special class of (linear) Recurrent Neural Networks. This survey is aimed at providing an overview of these trends framed under the unifying umbrella of Recurrence. Moreover, it emphasizes novel research opportunities that become prominent when abandoning the idea of processing long sequences whose length is known-in-advance for the more realistic setting of potentially infinite-length sequences, thus intersecting the field of lifelong-online learning from streamed data.
• Abstract（参考訳）: 機械学習コミュニティにとって長年の課題は、非常に長いデータ列から処理と学習が可能なモデルを開発することです。 トランスフォーマーベースのネットワーク(例えば、大きな言語モデル)の見事な成果は、並列注意をそのような課題に成功するための鍵として推進し、リカレントモデルの古典的なシーケンシャルな処理の役割を無視する。 しかし、ここ数年、自己注意の二次的な複雑さに関心を持つ研究者は、ニューラルモデルの新しい波を提案しており、これはトランスフォーマーとリカレントネットという2つの世界から最高のものを得ている。 一方、深宇宙状態モデルは時間とともに関数近似を行うための強固なアプローチとして登場し、シーケンシャルデータから学習する新たな視点を開拓し、この分野の多くの人々に応用され、(線形)リカレントニューラルネットワークの特殊なクラスを実装した。 本調査は,再帰の包括関係を包括するこれらの傾向を概観することを目的としている。 さらに、無限長列のより現実的な設定のために既知の長い列を処理するという考え方を捨てて、ストリームデータから生涯オンライン学習の分野を分断する、新たな研究機会を強調する。

関連論文リスト

• Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.11801730860999]
  近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。 本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。 また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
  論文  参考訳（メタデータ） (2024-08-08T11:34:31Z)
• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning [7.967995669387532]
  Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。 時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。 性能が良く、より複雑でない代替モデル一式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T12:47:42Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Continual Learning of Long Topic Sequences in Neural Information Retrieval [2.3846478553599098]
  まず,MSMarcoコーパスに基づいて,トピックの長いストリームをモデル化するデータセットを提案する。 次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。
  論文  参考訳（メタデータ） (2022-01-10T14:19:09Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Factorized Deep Generative Models for Trajectory Generation with Spatiotemporal-Validity Constraints [10.960924101404498]
  軌跡データの深い生成モデルは、洗練された潜伏パターンの表現的説明モデルを学ぶことができる。 まず、時間不変変数と時間不変変数を分解する新しい深部生成モデルを提案する。 そこで我々は,時間的妥当性に対する変動推論と制約付き最適化に基づく新しい推論戦略を開発した。
  論文  参考訳（メタデータ） (2020-09-20T02:06:36Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。