論文の概要: The Tiny Time-series Transformer: Low-latency High-throughput
Classification of Astronomical Transients using Deep Model Compression
- arxiv url: http://arxiv.org/abs/2303.08951v1
- Date: Wed, 15 Mar 2023 21:46:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 17:51:30.103585
- Title: The Tiny Time-series Transformer: Low-latency High-throughput
Classification of Astronomical Transients using Deep Model Compression
- Title（参考訳）: Tiny Time-Series Transformer:Deep Model Compressionを用いた天文遷移の低遅延高スループット分類
- Authors: Tarek Allam Jr., Julien Peloton, Jason D. McEwen
- Abstract要約: スペース・アンド・タイムのレガシー・サーベイ(LSST)は、時間領域天文学のビッグデータバーを引き上げます。
最新の深部圧縮手法がモデルサイズを18倍に削減できることを示す。
また、深部圧縮技術に加えて、ファイルフォーマットの慎重に選択することで、推論のレイテンシが向上することを示した。
- 参考スコア（独自算出の注目度）: 4.960046610835999
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A new golden age in astronomy is upon us, dominated by data. Large
astronomical surveys are broadcasting unprecedented rates of information,
demanding machine learning as a critical component in modern scientific
pipelines to handle the deluge of data. The upcoming Legacy Survey of Space and
Time (LSST) of the Vera C. Rubin Observatory will raise the big-data bar for
time-domain astronomy, with an expected 10 million alerts per-night, and
generating many petabytes of data over the lifetime of the survey. Fast and
efficient classification algorithms that can operate in real-time, yet robustly
and accurately, are needed for time-critical events where additional resources
can be sought for follow-up analyses. In order to handle such data,
state-of-the-art deep learning architectures coupled with tools that leverage
modern hardware accelerators are essential. We showcase how the use of modern
deep compression methods can achieve a $18\times$ reduction in model size,
whilst preserving classification performance. We also show that in addition to
the deep compression techniques, careful choice of file formats can improve
inference latency, and thereby throughput of alerts, on the order of $8\times$
for local processing, and $5\times$ in a live production setting. To test this
in a live setting, we deploy this optimised version of the original time-series
transformer, t2, into the community alert broking system of FINK on real Zwicky
Transient Facility (ZTF) alert data, and compare throughput performance with
other science modules that exist in FINK. The results shown herein emphasise
the time-series transformer's suitability for real-time classification at LSST
scale, and beyond, and introduce deep model compression as a fundamental tool
for improving deploy-ability and scalable inference of deep learning models for
transient classification.
- Abstract（参考訳）: 天文学の新しい黄金時代は、データによって支配されている。
大規模な天文調査は前例のない量の情報を放送しており、データの流出に対処するために現代の科学パイプラインの重要な要素として機械学習を要求している。
Vera C. Rubin ObservatoryのLegiacy Survey of Space and Time(LSST)は、時間領域天文学のためのビッグデータバーを引き上げ、一晩に1000万のアラートを発生させ、調査期間を通じて多くのペタバイトのデータを生成する。
フォローアップ分析のために追加資源を求める時間クリティカルなイベントには,リアルタイムに,かつ堅牢かつ正確に動作可能な高速かつ効率的な分類アルゴリズムが必要である。
このようなデータを扱うためには、最新のハードウェアアクセラレータを利用するツールと組み合わされた最先端のディープラーニングアーキテクチャが不可欠である。
我々は,最新の深層圧縮手法が,分類性能を維持しつつ,モデルサイズを18\times$で削減できることを示す。
また、深層圧縮技術に加えて、ファイルフォーマットの慎重な選択により、推論レイテンシが向上し、アラートのスループットが向上し、ローカル処理に$8\times$、実稼働環境で$$5\times$の順に設定できることを示した。
これを実環境でテストするために、この最適化されたバージョンである t2 を実際の Zwicky Transient Facility (ZTF) 警告データ上でFINKのコミュニティアラートブロッキングシステムにデプロイし、FINK に存在する他の科学モジュールとスループット性能を比較した。
本稿では,LSSTスケール以上のリアルタイム分類における時系列変換器の適合性を強調し,過渡的分類のためのディープラーニングモデルのデプロイ性およびスケーラブル推論を改善するための基本ツールとして,深層モデル圧縮を導入する。
関連論文リスト
- sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。
我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。
我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
論文 参考訳（メタデータ） (2024-08-19T06:23:41Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - Disentangling Spatial and Temporal Learning for Efficient Image-to-Video
Transfer Learning [59.26623999209235]
ビデオの空間的側面と時間的側面の学習を両立させるDiSTを提案する。
DiSTの非絡み合い学習は、大量の事前学習パラメータのバックプロパゲーションを避けるため、非常に効率的である。
5つのベンチマークの大規模な実験は、DiSTが既存の最先端メソッドよりも優れたパフォーマンスを提供することを示す。
論文 参考訳（メタデータ） (2023-09-14T17:58:33Z) - ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal
Prediction [55.30913411696375]
本稿では,非対称な受容場オートエンコーダ (ARFA) モデルを提案する。
エンコーダでは,大域的時間的特徴抽出のための大規模なカーネルモジュールを提案し,デコーダでは局所的時間的再構成のための小さなカーネルモジュールを開発する。
降水予測のための大規模レーダエコーデータセットであるRainBenchを構築し,その領域における気象データの不足に対処する。
論文 参考訳（メタデータ） (2023-09-01T07:55:53Z) - Learning Gaussian Mixture Representations for Tensor Time Series
Forecasting [8.31607451942671]
我々は、時間、位置、およびソース変数に暗示される各不均一成分を個別にモデル化する新しいTS予測フレームワークを開発する。
2つの実世界のTSデータセットによる実験結果は、最先端のベースラインと比較して、我々のアプローチの優位性を検証する。
論文 参考訳（メタデータ） (2023-06-01T06:50:47Z) - GC-GRU-N for Traffic Prediction using Loop Detector Data [5.735035463793008]
シアトルのループ検出器のデータを15分以上収集し、その問題を時空で再現する。
モデルは、最速の推論時間と非常に近いパフォーマンスで第2位(トランスフォーマー)。
論文 参考訳（メタデータ） (2022-11-13T06:32:28Z) - Improving Astronomical Time-series Classification via Data Augmentation
with Generative Adversarial Networks [1.2891210250935146]
本稿では,GAN(Generative Adrial Networks)に基づくデータ拡張手法を提案する。
変動星の分類精度は、合成データによるトレーニングや実データによるテストで著しく向上する。
論文 参考訳（メタデータ） (2022-05-13T16:39:54Z) - Paying Attention to Astronomical Transients: Introducing the Time-series
Transformer for Photometric Classification [6.586394734694152]
本稿では,自然言語処理のためのトランスフォーマーアーキテクチャを提案する。
時系列変換器をフォトメトリック分類のタスクに適用し、エキスパートドメイン知識の信頼性を最小化する。
我々は、光度LSST天文時系列分類チャレンジのデータを用いて、不均衡なデータに対する0.507の対数ロスを達成する。
論文 参考訳（メタデータ） (2021-05-13T10:16:13Z) - Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。
粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
論文 参考訳（メタデータ） (2021-05-08T03:50:45Z) - Deep Transformer Networks for Time Series Classification: The NPP Safety
Case [59.20947681019466]
時間依存nppシミュレーションデータをモデル化するために、教師付き学習方法でトランスフォーマと呼ばれる高度なテンポラルニューラルネットワークを使用する。
トランスはシーケンシャルデータの特性を学習し、テストデータセット上で約99%の分類精度で有望な性能が得られる。
論文 参考訳（メタデータ） (2021-04-09T14:26:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。