論文の概要: User-friendly Foundation Model Adapters for Multivariate Time Series Classification

• arxiv url: http://arxiv.org/abs/2409.12264v1
• Date: Wed, 18 Sep 2024 18:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:38:21.201424
• Title: User-friendly Foundation Model Adapters for Multivariate Time Series Classification
• Title（参考訳）: 多変量時系列分類のためのユーザフレンドリな基礎モデルアダプタ
• Authors: Vasilii Feofanov, Romain Ilbert, Malik Tiomoko, Themis Palpanas, Ievgen Redko,
• Abstract要約: ファンデーションモデルは、非常に効果的であるが、しばしばリソース集約であり、かなりの推論時間とメモリを必要とする。 本稿では,次元削減手法を探求することにより,これらのモデルを限られた計算資源でより利用しやすくすることの課題に対処する。 我々の実験では、ベースラインモデルと比較して最大10倍のスピードアップを実現し、パフォーマンスを低下させることなく、1つのGPUに最大4.5倍のデータセットを適合させることができる。
• 参考スコア（独自算出の注目度）: 16.94369040048502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models, while highly effective, are often resource-intensive, requiring substantial inference time and memory. This paper addresses the challenge of making these models more accessible with limited computational resources by exploring dimensionality reduction techniques. Our goal is to enable users to run large pre-trained foundation models on standard GPUs without sacrificing performance. We investigate classical methods such as Principal Component Analysis alongside neural network-based adapters, aiming to reduce the dimensionality of multivariate time series data while preserving key features. Our experiments show up to a 10x speedup compared to the baseline model, without performance degradation, and enable up to 4.5x more datasets to fit on a single GPU, paving the way for more user-friendly and scalable foundation models.
• Abstract（参考訳）: ファンデーションモデルは、非常に効果的であるが、しばしばリソース集約であり、かなりの推論時間とメモリを必要とする。 本稿では,次元削減手法を探求することにより,これらのモデルを限られた計算資源でより利用しやすくすることの課題に対処する。 私たちの目標は、パフォーマンスを犠牲にすることなく、ユーザーが標準GPU上でトレーニング済みの大規模なファンデーションモデルを実行できるようにすることです。 ニューラルネットワークベースのアダプタを併用した主成分分析などの古典的手法について検討し,鍵となる特徴を保ちつつ,多変量時系列データの次元性を低減することを目的とした。 我々の実験では、パフォーマンス劣化のないベースラインモデルと比較して10倍のスピードアップを示し、最大4.5倍のデータセットを単一のGPUに適合させ、ユーザフレンドリでスケーラブルな基盤モデルへの道を開いた。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• MSTAR: Multi-Scale Backbone Architecture Search for Timeseries Classification [0.41185655356953593]
  ニューラルアーキテクチャサーチ(NAS)のための新しいマルチスケール検索空間とフレームワークを提案する。 我々のモデルは、トレーニングされていない重量とトレーニング済み重量の両方を持つ強力なTransformerモジュールを使用するためのバックボーンとして機能することを示します。 検索空間は4つの異なる領域の4つのデータセットで最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2024-02-21T13:59:55Z)
• Low-resource finetuning of foundation models beats state-of-the-art in histopathology [3.4577420145036375]
  病理組織学データの特徴抽出器として最も人気のある視覚基盤モデルをベンチマークする。 データセットに応じて、単一のGPU上のファンデーションモデルをわずか2時間から3日で微調整することで、最先端の機能抽出器にマッチまたは性能を向上することができる。 これは、大量のリソースとデータセットを持つ機関だけが特徴抽出器を訓練できる、現在の状態からかなり変化している。
  論文  参考訳（メタデータ） (2024-01-09T18:46:59Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Do We Really Need Deep Learning Models for Time Series Forecasting? [4.2698418800007865]
  時系列予測は、幅広い応用があるため、機械学習において重要なタスクである。 ディープラーニングとマトリックスファクタリゼーションモデルは、より競争力のあるパフォーマンスで同じ問題に取り組むために最近提案されている。 本稿では,これらの高度に複雑なディープラーニングモデルが代替手段がないかどうかを問う。
  論文  参考訳（メタデータ） (2021-01-06T16:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。