論文の概要: State Sequences Prediction via Fourier Transform for Representation Learning

• arxiv url: http://arxiv.org/abs/2310.15888v1
• Date: Tue, 24 Oct 2023 14:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 18:19:45.644522
• Title: State Sequences Prediction via Fourier Transform for Representation Learning
• Title（参考訳）: 表現学習のためのフーリエ変換による状態系列予測
• Authors: Mingxuan Ye, Yufei Kuang, Jie Wang, Rui Yang, Wengang Zhou, Houqiang Li, Feng Wu
• Abstract要約: 本研究では,表現表現を効率よく学習する新しい方法である,フーリエ変換(SPF)による状態列予測を提案する。 本研究では,状態系列における構造情報の存在を理論的に解析する。 実験により,提案手法はサンプル効率と性能の両面で,最先端のアルゴリズムよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 111.82376793413746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep reinforcement learning (RL) has been demonstrated effective in solving complex control tasks, sample efficiency remains a key challenge due to the large amounts of data required for remarkable performance. Existing research explores the application of representation learning for data-efficient RL, e.g., learning predictive representations by predicting long-term future states. However, many existing methods do not fully exploit the structural information inherent in sequential state signals, which can potentially improve the quality of long-term decision-making but is difficult to discern in the time domain. To tackle this problem, we propose State Sequences Prediction via Fourier Transform (SPF), a novel method that exploits the frequency domain of state sequences to extract the underlying patterns in time series data for learning expressive representations efficiently. Specifically, we theoretically analyze the existence of structural information in state sequences, which is closely related to policy performance and signal regularity, and then propose to predict the Fourier transform of infinite-step future state sequences to extract such information. One of the appealing features of SPF is that it is simple to implement while not requiring storage of infinite-step future states as prediction targets. Experiments demonstrate that the proposed method outperforms several state-of-the-art algorithms in terms of both sample efficiency and performance.
• Abstract（参考訳）: 深層強化学習 (rl) は複雑な制御タスクの解法として有効であることが実証されているが, 膨大なデータ量を必要とするため, サンプル効率は依然として重要な課題である。 既存の研究は、データ効率の良いrl、例えば長期的な将来の状態を予測して予測表現を学習するための表現学習の応用を探求している。 しかし、多くの既存手法では、シーケンシャルな状態信号に固有の構造情報を十分に活用していないため、長期的な意思決定の質が向上する可能性がある。 この問題に対処するために,状態系列の周波数領域を利用して時系列データの基本パターンを抽出し,表現表現を効率的に学習する手法である,フーリエ変換による状態系列予測(SPF)を提案する。 具体的には,政策性能と信号規則性に密接な関係にある状態系列における構造情報の存在を理論的に解析し,その情報を抽出するために無限ステップ状態系列のフーリエ変換の予測を提案する。 SPFの魅力の1つは、予測対象として無限段階の将来の状態を保存する必要がなく、実装が簡単であることである。 実験により,提案手法がサンプル効率と性能の両面で最先端アルゴリズムよりも優れていることを示す。

関連論文リスト

• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Representation Learning of Multivariate Time Series using Attention and Adversarial Training [2.0577627277681887]
  変換器をベースとしたオートエンコーダを提案し, 逆方向のトレーニングスキームを用いて, 人工時系列信号を生成する。 その結果,生成した信号は畳み込みネットワークを用いた場合よりも,模範的データセットとの類似性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-01-03T21:32:46Z)
• Enhancing Algorithm Performance Understanding through tsMorph: Generating Semi-Synthetic Time Series for Robust Forecasting Evaluation [0.393259574660092]
  本稿では,データセットのモーフィングによる半合成時系列生成ツールであるtsMorphについて述べる。 本稿では,Long Short-Term Memory NetworkとDeepAR予測アルゴリズムの予測性能を評価することにより,tsMorphの利点を示す。
  論文  参考訳（メタデータ） (2023-12-03T10:40:07Z)
• MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
  時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。 本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。 時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
  論文  参考訳（メタデータ） (2023-07-13T13:16:01Z)
• On the Importance of Feature Decorrelation for Unsupervised Representation Learning in Reinforcement Learning [23.876039876806182]
  教師なし表現学習(URL)は強化学習(RL)のサンプル効率を改善した 本稿では,潜在多様体の次元を増大させつつ,将来の状態を因果的に予測する新しいURLフレームワークを提案する。 本フレームワークは,Atari 100kベンチマークにおける最先端URL手法のサンプル効率を大幅に向上させるため,崩壊のない予測表現を効果的に学習する。
  論文  参考訳（メタデータ） (2023-06-09T02:47:21Z)
• Task-Guided IRL in POMDPs that Scales [22.594913269327353]
  逆線形強化学習(IRL)では、学習エージェントは、専門家のデモンストレーションを用いて、基礎となるタスクをコードする報酬関数を推論する。 ほとんどのIRL技術は、POMDPの計算前方問題(報酬関数を与えられた最適ポリシーを計算)を必要とする。 我々は,データ効率を向上しながら,情報量を削減するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-12-30T21:08:57Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Voice2Series: Reprogramming Acoustic Models for Time Series Classification [65.94154001167608]
  Voice2Seriesは、時系列分類のための音響モデルをプログラムする新しいエンドツーエンドアプローチである。 V2Sは20のタスクで性能が優れるか、最先端のメソッドと結びついているかを示し、平均精度を1.84%向上させる。
  論文  参考訳（メタデータ） (2021-06-17T07:59:15Z)
• Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
  本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。 我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-17T03:41:19Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。