論文の概要: From Generalization Analysis to Optimization Designs for State Space Models

• arxiv url: http://arxiv.org/abs/2405.02670v1
• Date: Sat, 4 May 2024 13:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:01:15.135520
• Title: From Generalization Analysis to Optimization Designs for State Space Models
• Title（参考訳）: 一般化解析から状態空間モデルへの最適化設計へ
• Authors: Fusheng Liu, Qianxiao Li,
• Abstract要約: 状態空間モデル (SSM) は時系列解析の基礎モデルである。 一般化結果に基づく学習アルゴリズムの改良を提案する。
• 参考スコア（独自算出の注目度）: 14.932318540666547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A State Space Model (SSM) is a foundation model in time series analysis, which has recently been shown as an alternative to transformers in sequence modeling. In this paper, we theoretically study the generalization of SSMs and propose improvements to training algorithms based on the generalization results. Specifically, we give a \textit{data-dependent} generalization bound for SSMs, showing an interplay between the SSM parameters and the temporal dependencies of the training sequences. Leveraging the generalization bound, we (1) set up a scaling rule for model initialization based on the proposed generalization measure, which significantly improves the robustness of the output value scales on SSMs to different temporal patterns in the sequence data; (2) introduce a new regularization method for training SSMs to enhance the generalization performance. Numerical results are conducted to validate our results.
• Abstract（参考訳）: 状態空間モデル(英: State Space Model, SSM)は、時系列解析における基礎モデルであり、最近、シーケンシャルモデリングにおけるトランスフォーマーの代替として示されている。 本稿では,SSMの一般化を理論的に研究し,一般化結果に基づく学習アルゴリズムの改良を提案する。 具体的には、SSM に対して \textit{data-dependent} の一般化を与え、SSM パラメータとトレーニングシーケンスの時間的依存との間の相互作用を示す。 一般化バウンダリを利用して,(1)提案した一般化尺度に基づいてモデル初期化のスケーリングルールを設定し,SSMの出力値スケールのロバスト性を大幅に向上させるとともに,SSMをトレーニングするための新たな正規化手法を導入し,一般化性能を向上させる。 結果を検証するために, 数値計算を行った。

関連論文リスト

• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  本稿では,オンライン回帰目標を最適化するための暗黙の更新に基づく新しい深層SSMアーキテクチャを提案する。 実験の結果,我々のモデルは,標準シーケンスモデリングベンチマークや言語モデリングタスクにおいて,最先端のSSMよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)
• State Space Models as Foundation Models: A Control Theoretic Overview [3.3222241150972356]
  近年、ディープニューラルネットワークアーキテクチャにおける線形状態空間モデル(SSM)の統合への関心が高まっている。 本論文は、制御理論者のためのSSMベースのアーキテクチャの穏やかな導入を目的としたものである。 もっとも成功したSSM提案の体系的なレビューを提供し、コントロール理論の観点から主要な特徴を強調している。
  論文  参考訳（メタデータ） (2024-03-25T16:10:47Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent [28.006781039853575]
  近年の機械学習の進歩を支える重要な要素は、大規模な分散メモリ環境で機械学習モデルをトレーニングする能力である。 本稿では,大規模機械学習モデルの学習に使用される一般収束手法を提案する。 我々のフレームワークは弾性弾性境界と呼ばれ、様々な分散SGD法に対する収束境界を導出することができる。
  論文  参考訳（メタデータ） (2020-01-16T16:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。