論文の概要: TSGBench: Time Series Generation Benchmark
- arxiv url: http://arxiv.org/abs/2309.03755v1
- Date: Thu, 7 Sep 2023 14:51:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 12:38:34.154922
- Title: TSGBench: Time Series Generation Benchmark
- Title(参考訳): TSGBench: 時系列生成ベンチマーク
- Authors: Yihao Ang, Qiang Huang, Yifan Bao, Anthony K. H. Tung, Zhiyong Huang
- Abstract要約: textsfTSGBenchは、合成時系列生成法の統一的で包括的な評価である。
1)TSG用に調整された公開データセットの収集と標準化された前処理パイプライン、(2)バニラ測度、新しい距離ベースアセスメント、可視化ツールを含む総合的な評価スイート、(3)ドメイン適応(DA)に根ざした先駆的な一般化テストである。
我々は,10の高度なTSG手法と12の評価尺度をテキストfTSGBenchで測定し,多様な領域から10の実世界のデータセットにまたがって広範な実験を行った。
- 参考スコア(独自算出の注目度): 11.199605025284185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Synthetic Time Series Generation (TSG) is crucial in a range of applications,
including data augmentation, anomaly detection, and privacy preservation.
Although significant strides have been made in this field, existing methods
exhibit three key limitations: (1) They often benchmark against similar model
types, constraining a holistic view of performance capabilities. (2) The use of
specialized synthetic and private datasets introduces biases and hampers
generalizability. (3) Ambiguous evaluation measures, often tied to custom
networks or downstream tasks, hinder consistent and fair comparison.
To overcome these limitations, we introduce \textsf{TSGBench}, the inaugural
TSG Benchmark, designed for a unified and comprehensive assessment of TSG
methods. It comprises three modules: (1) a curated collection of publicly
available, real-world datasets tailored for TSG, together with a standardized
preprocessing pipeline; (2) a comprehensive evaluation measures suite including
vanilla measures, new distance-based assessments, and visualization tools; (3)
a pioneering generalization test rooted in Domain Adaptation (DA), compatible
with all methods. We have conducted extensive experiments across ten real-world
datasets from diverse domains, utilizing ten advanced TSG methods and twelve
evaluation measures, all gauged through \textsf{TSGBench}. The results
highlight its remarkable efficacy and consistency. More importantly,
\textsf{TSGBench} delivers a statistical breakdown of method rankings,
illuminating performance variations across different datasets and measures, and
offering nuanced insights into the effectiveness of each method.
- Abstract(参考訳): 合成時系列生成(TSG)は、データ拡張、異常検出、プライバシー保護など、さまざまなアプリケーションにおいて重要である。
この分野では大きな進歩を遂げているが、既存の手法には3つの重要な制限がある。
2) 特殊合成データセットとプライベートデータセットの使用は、バイアスと一般化を阻害する。
(3) カスタムネットワークや下流タスクに結びついているあいまいな評価措置は、一貫性と公正な比較を妨げる。
これらの制約を克服するために,TSG手法の統一的かつ総合的な評価を目的とした最初のTSGベンチマークである \textsf{TSGBench} を導入する。
1)TSG用に最適化された実世界のデータセットと標準化された前処理パイプライン、(2)バニラ測度、新しい距離ベースアセスメント、可視化ツールを含む総合的な評価スイート、(3)ドメイン適応(DA)に根ざした先駆的な一般化テスト(DA)の3つのモジュールからなる。
様々な領域から10個の実世界のデータセットにまたがって大規模な実験を行い、10個の高度なTSG法と12個の評価尺度を用いた。
結果は、その顕著な有効性と一貫性を強調している。
さらに重要なことに、 \textsf{tsgbench} はメソッドのランキングを統計的に分解し、さまざまなデータセットや測定値のパフォーマンスのバリエーションを照らし出し、各メソッドの有効性に関する微妙な洞察を提供する。
関連論文リスト
- TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods [27.473935782550388]
時系列は、経済、交通、健康、エネルギーといった様々な領域で生成される。
本稿では,時系列予測(TSF)手法の自動ベンチマークであるTFBを提案する。
論文 参考訳(メタデータ) (2024-03-29T12:37:57Z) - Test-Time Domain Generalization for Face Anti-Spoofing [60.94384914275116]
Face Anti-Spoofing (FAS) は、顔認識システムをプレゼンテーション攻撃から保護するために重要である。
本稿では,テストデータを活用してモデルの一般化性を高める新しいテスト時間領域一般化フレームワークについて紹介する。
テスト時間スタイル投影 (TTSP) とディバーススタイルシフトシミュレーション (DSSS) によって構成された本手法は, 目に見えないデータを領域空間に効果的に投影する。
論文 参考訳(メタデータ) (2024-03-28T11:50:23Z) - Hyperspectral Benchmark: Bridging the Gap between HSI Applications
through Comprehensive Dataset and Pretraining [11.935879491267634]
ハイパースペクトルイメージング (HSI) は、様々な応用の非破壊空間分光技術として機能する。
繰り返し発生する課題は、ターゲットデータセットの限られたサイズであり、徹底的なアーキテクチャ検索を妨げる。
本研究は、3つの顕著な異なるHSIアプリケーションを含む革新的なベンチマークデータセットを紹介する。
論文 参考訳(メタデータ) (2023-09-20T08:08:34Z) - Benchmarking Test-Time Adaptation against Distribution Shifts in Image
Classification [77.0114672086012]
テスト時間適応(TTA)は、予測時にのみラベルのないサンプルを活用することにより、モデルの一般化性能を向上させる技術である。
本稿では,広く使用されている5つの画像分類データセット上で,13のTTA手法とその変種を体系的に評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2023-07-06T16:59:53Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳(メタデータ) (2023-07-04T01:34:41Z) - TSI-GAN: Unsupervised Time Series Anomaly Detection using Convolutional
Cycle-Consistent Generative Adversarial Networks [2.4469484645516837]
異常検出は、ネットワーク侵入検知、自律運転、診断、クレジットカード詐欺などに広く用いられている。
本稿では、複雑な時間パターンを自動的に学習できる時系列の教師なし異常検出モデルであるTSI-GANを提案する。
提案手法は,250個の高度・厳密なデータセットを用いてTSI-GANを評価し,最先端の8つのベースライン手法と比較した。
論文 参考訳(メタデータ) (2023-03-22T23:24:47Z) - Prompted Opinion Summarization with GPT-3.5 [115.95460650578678]
GPT-3.5モデルは人体評価において非常に高い性能を示す。
我々は,標準評価指標がこれを反映していないことを論じ,忠実性,事実性,汎用性を重視した3つの新しい指標を導入する。
論文 参考訳(メタデータ) (2022-11-29T04:06:21Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳(メタデータ) (2022-09-26T01:04:52Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳(メタデータ) (2022-04-11T10:14:35Z) - WRENCH: A Comprehensive Benchmark for Weak Supervision [66.82046201714766]
ベンチマークは、分類とシーケンスタグ付けのための22の異なる実世界のデータセットで構成されている。
ベンチマークプラットフォームとしての有効性を示すために、100以上のメソッドの変種に対して広範な比較を行うためにベンチマークを使用します。
論文 参考訳(メタデータ) (2021-09-23T13:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。