論文の概要: Evaluating Time-Series Training Dataset through Lens of Spectrum in Deep State Space Models
- arxiv url: http://arxiv.org/abs/2408.16261v1
- Date: Thu, 29 Aug 2024 04:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 15:05:40.486173
- Title: Evaluating Time-Series Training Dataset through Lens of Spectrum in Deep State Space Models
- Title（参考訳）: 深部宇宙モデルにおけるスペクトルレンズによる時系列トレーニングデータセットの評価
- Authors: Sekitoshi Kanai, Yasutoshi Ida, Kazuki Adachi, Mihiro Uchida, Tsukasa Yoshida, Shin'ya Yamaguchi,
- Abstract要約: 本稿では,システム識別に使用されるデータ評価手法について紹介する。
我々は、深部SSM内の信号の上位Kスペクトルの和であるKスペクトル計量を提案する。
実験の結果,Kスペクトルは相関係数の絶対値が大きいことがわかった。
- 参考スコア（独自算出の注目度）: 16.9884076931744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study investigates a method to evaluate time-series datasets in terms of the performance of deep neural networks (DNNs) with state space models (deep SSMs) trained on the dataset. SSMs have attracted attention as components inside DNNs to address time-series data. Since deep SSMs have powerful representation capacities, training datasets play a crucial role in solving a new task. However, the effectiveness of training datasets cannot be known until deep SSMs are actually trained on them. This can increase the cost of data collection for new tasks, as a trial-and-error process of data collection and time-consuming training are needed to achieve the necessary performance. To advance the practical use of deep SSMs, the metric of datasets to estimate the performance early in the training can be one key element. To this end, we introduce the concept of data evaluation methods used in system identification. In system identification of linear dynamical systems, the effectiveness of datasets is evaluated by using the spectrum of input signals. We introduce this concept to deep SSMs, which are nonlinear dynamical systems. We propose the K-spectral metric, which is the sum of the top-K spectra of signals inside deep SSMs, by focusing on the fact that each layer of a deep SSM can be regarded as a linear dynamical system. Our experiments show that the K-spectral metric has a large absolute value of the correlation coefficient with the performance and can be used to evaluate the quality of training datasets.
- Abstract（参考訳）: 本研究では,データセット上で訓練された状態空間モデル(深部SSM)を用いて,深部ニューラルネットワーク(DNN)の性能の観点から時系列データセットを評価する手法を検討した。
SSMは時系列データを扱うためにDNN内のコンポーネントとして注目されている。
ディープSSMは強力な表現能力を持つため、トレーニングデータセットは新しいタスクの解決において重要な役割を果たす。
しかし、データセットのトレーニングの有効性は、深いSSMが実際にトレーニングされるまでは分からない。
これにより、必要なパフォーマンスを達成するために、データ収集と時間のかかるトレーニングの試行錯誤プロセスが必要になるため、新しいタスクのためのデータ収集のコストが増大する可能性がある。
ディープSSMの実用化を進めるために、トレーニングの早い段階での性能を推定するデータセットのメトリックが重要な要素である。
そこで本研究では,システム識別に使用されるデータ評価手法について紹介する。
線形力学系のシステム同定において、入力信号のスペクトルを用いてデータセットの有効性を評価する。
本稿ではこの概念を非線形力学系である深部SSMに導入する。
我々は,深部SSMの各層を線形力学系とみなすことができるという事実に着目し,深部SSM内の信号の上位Kスペクトルの和であるKスペクトル計量を提案する。
実験の結果,Kスペクトルは相関係数の絶対値が大きく,トレーニングデータセットの品質評価に利用できることがわかった。
関連論文リスト
- Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。
MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
論文 参考訳（メタデータ） (2024-10-09T17:59:04Z) - Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。
提案手法は, 監視対象の性能を超過する。
論文 参考訳（メタデータ） (2024-03-25T17:40:32Z) - A Generative Self-Supervised Framework using Functional Connectivity in
fMRI Data [15.211387244155725]
機能的磁気共鳴イメージング(fMRI)データから抽出した機能的接続性(FC)ネットワークを訓練したディープニューラルネットワークが人気を博している。
グラフニューラルネットワーク(GNN)のFCへの適用に関する最近の研究は、FCの時間変化特性を活用することにより、モデル予測の精度と解釈可能性を大幅に向上させることができることを示唆している。
高品質なfMRIデータとそれに対応するラベルを取得するための高コストは、実環境において彼らのアプリケーションにハードルをもたらす。
本研究では,動的FC内の時間情報を効果的に活用するためのSSL生成手法を提案する。
論文 参考訳（メタデータ） (2023-12-04T16:14:43Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Neural Koopman prior for data assimilation [7.875955593012905]
ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。
本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。
また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
論文 参考訳（メタデータ） (2023-09-11T09:04:36Z) - Leveraging Neural Koopman Operators to Learn Continuous Representations
of Dynamical Systems from Scarce Data [0.0]
我々は、本質的に連続的な方法でダイナミクスを表現する新しいディープ・クープマン・フレームワークを提案する。
このフレームワークは、限られたトレーニングデータのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2023-03-13T10:16:19Z) - Spectral learning of Bernoulli linear dynamical systems models [21.3534487101893]
本研究では,線形線形力学系モデルの高速かつ効率的なフィッティングのための学習法を開発した。
提案手法は,従来の部分空間同定手法をベルヌーイ設定に拡張する。
そこで本研究では,マウスの知覚決定タスクを実行することによって,実世界の環境を推定する手法を提案する。
論文 参考訳（メタデータ） (2023-03-03T16:29:12Z) - Meta-Learning of Neural State-Space Models Using Data From Similar
Systems [11.206109495578705]
本稿では,深層エンコーダネットワークを用いたSSM構築のためのモデルに依存しないメタラーニングを提案する。
メタラーニングは教師付き学習や伝達学習よりも正確な神経SSMモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-11-14T22:03:35Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。