論文の概要: Long Expressive Memory for Sequence Modeling

• arxiv url: http://arxiv.org/abs/2110.04744v1
• Date: Sun, 10 Oct 2021 09:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 16:42:04.967488
• Title: Long Expressive Memory for Sequence Modeling
• Title（参考訳）: シーケンスモデリングのための長時間表現型メモリ
• Authors: T. Konstantin Rusch, Siddhartha Mishra, N. Benjamin Erichson, Michael W. Mahoney
• Abstract要約: 本稿では,Long Expressive Memory (LEM) と呼ばれる,長期連続的な依存関係を学習するための新しい手法を提案する。 LEMは勾配ベースであり、非常に長期依存したシーケンシャルなタスクを効率的に処理することができる。 我々は,LEMが大規模力学系を高精度に近似できることを証明した。
• 参考スコア（独自算出の注目度）: 45.94390701863504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel method called Long Expressive Memory (LEM) for learning long-term sequential dependencies. LEM is gradient-based, it can efficiently process sequential tasks with very long-term dependencies, and it is sufficiently expressive to be able to learn complicated input-output maps. To derive LEM, we consider a system of multiscale ordinary differential equations, as well as a suitable time-discretization of this system. For LEM, we derive rigorous bounds to show the mitigation of the exploding and vanishing gradients problem, a well-known challenge for gradient-based recurrent sequential learning methods. We also prove that LEM can approximate a large class of dynamical systems to high accuracy. Our empirical results, ranging from image and time-series classification through dynamical systems prediction to speech recognition and language modeling, demonstrate that LEM outperforms state-of-the-art recurrent neural networks, gated recurrent units, and long short-term memory models.
• Abstract（参考訳）: 本稿では,Long Expressive Memory (LEM) と呼ばれる,長期連続的な依存関係を学習するための新しい手法を提案する。 LEMは勾配に基づいており、非常に長期依存したシーケンシャルなタスクを効率的に処理でき、複雑な入出力マップを学習できることは十分に表現力がある。 LEMを導出するために、多スケールの常微分方程式の系と、この系の時間差分化を考える。 LEMでは、勾配に基づく逐次学習法において、爆発的・消滅的な勾配問題の緩和を示す厳密な境界を導出する。 また,LEMが大規模力学系を高精度に近似できることを示す。 画像と時系列の分類から動的システムの予測から音声認識や言語モデリングまで,lemが最先端のリカレントニューラルネットワーク,ゲート型リカレントユニット,長期記憶モデルよりも優れていることを示す。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law [3.281128493853064]
  主にテキストに基づいて訓練された言語モデルは、微調整やプロンプトエンジニアリングなしで動的システム時系列の正確な予測を行う。 LLMから直接多桁数の確率密度関数を抽出するフレキシブルで効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:28:10Z)
• Efficient Exploration in Continuous-time Model-based Reinforcement Learning [37.14026153342745]
  強化学習アルゴリズムは典型的には離散時間力学を考察するが、基礎となるシステムは時間的に連続していることが多い。 連続時間力学を表すモデルに基づく強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-30T15:04:40Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Learning Associative Inference Using Fast Weight Memory [12.239487954915646]
  FWM(Fast Weight Memory)と呼ばれる連想メモリによるLSTMモデルの拡張 我々のモデルは勾配降下法によりエンドツーエンドに訓練され、合成言語推論問題において優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-16T10:01:23Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。