論文の概要: Quantifying Quality of Class-Conditional Generative Models in
Time-Series Domain
- arxiv url: http://arxiv.org/abs/2210.07617v1
- Date: Fri, 14 Oct 2022 08:13:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:31:11.403190
- Title: Quantifying Quality of Class-Conditional Generative Models in
Time-Series Domain
- Title（参考訳）: 時系列領域におけるクラス連続生成モデルの定量化
- Authors: Alireza Koochali, Maria Walch, Sankrutyayan Thota, Peter Schichtel,
Andreas Dengel, Sheraz Ahmed
- Abstract要約: Inception Time Score(ITS)とFrechet Inception Time Distance(FITD)を導入し、時系列領域におけるクラス条件生成モデルの質的性能を評価する。
提案した指標の識別能力を調べるため,80種類のデータセットについて広範な実験を行った。
- 参考スコア（独自算出の注目度）: 4.219228636765818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models are designed to address the data scarcity problem. Even
with the exploding amount of data, due to computational advancements, some
applications (e.g., health care, weather forecast, fault detection) still
suffer from data insufficiency, especially in the time-series domain. Thus
generative models are essential and powerful tools, but they still lack a
consensual approach for quality assessment. Such deficiency hinders the
confident application of modern implicit generative models on time-series data.
Inspired by assessment methods on the image domain, we introduce the
InceptionTime Score (ITS) and the Frechet InceptionTime Distance (FITD) to
gauge the qualitative performance of class conditional generative models on the
time-series domain. We conduct extensive experiments on 80 different datasets
to study the discriminative capabilities of proposed metrics alongside two
existing evaluation metrics: Train on Synthetic Test on Real (TSTR) and Train
on Real Test on Synthetic (TRTS). Extensive evaluation reveals that the
proposed assessment method, i.e., ITS and FITD in combination with TSTR, can
accurately assess class-conditional generative model performance.
- Abstract（参考訳）: 生成モデルは、データの不足問題に対処するように設計されている。
計算の進歩により、爆発的なデータ量であっても、いくつかのアプリケーション(例えば、医療、天気予報、故障検出)は、特に時系列領域においてデータ不足に悩まされている。
したがって生成モデルは必須かつ強力なツールであるが、それでも品質評価のための合意的なアプローチを欠いている。
このような欠陥は、現代の暗黙的生成モデルの時系列データへの確実な適用を妨げる。
画像領域における評価法に着想を得て,時系列領域におけるクラス条件生成モデルの質的性能を測定するために,インセプション時間スコア(its)とフレシェ開始時間距離(fitd)を導入した。
TSTR(Train on Synthetic Test on Real)とTRTS(Train on Real Test on Synthetic)の2つの既存の評価指標とともに,提案した指標の識別能力を研究するために,80種類のデータセットに対して広範な実験を行った。
総合評価の結果,提案手法であるITSとFITDとTSTRを組み合わせることで,クラス条件生成モデルの性能を正確に評価できることがわかった。
関連論文リスト
- Recurrent Neural Goodness-of-Fit Test for Time Series [8.22915954499148]
時系列データは、金融や医療など、さまざまな分野において重要である。
従来の評価基準は、時間的依存関係と潜在的な特徴の高次元性のために不足している。
Recurrent Neural (RENAL) Goodness-of-Fit testは,生成時系列モデルを評価するための新しい,統計的に厳密なフレームワークである。
論文 参考訳（メタデータ） (2024-10-17T19:32:25Z) - How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。
実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-03T09:08:47Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳（メタデータ） (2023-06-13T12:43:59Z) - Evaluating Model Performance in Medical Datasets Over Time [26.471486383140526]
本研究は,EMDOT(A Evaluation on Medical datasets Over Time)フレームワークを提案する。
バックテストの概念にインスパイアされたEMDOTは、実践者が各時点で実行できたかもしれないトレーニング手順をシミュレートする。
データセットによっては、すべての履歴データを使用するのが理想的な場合が多いのに対して、最新のデータのウィンドウを使用する場合、他のケースでは有利な場合があります。
論文 参考訳（メタデータ） (2023-05-22T19:16:00Z) - TimeVAE: A Variational Auto-Encoder for Multivariate Time Series
Generation [6.824692201913679]
可変オートエンコーダ(VAE)を用いて時系列データを合成生成する新しいアーキテクチャを提案する。
提案されたアーキテクチャには、解釈可能性、ドメイン知識をエンコードする能力、トレーニング時間の短縮など、いくつかの異なる特性がある。
論文 参考訳（メタデータ） (2021-11-15T21:42:14Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Deep Semi-Supervised Learning for Time Series Classification [1.096924880299061]
画像と時系列の分類から,最先端の深層半教師付きモデルの転送可能性について検討する。
これらの変換された半教師付きモデルは、強い教師付き、半教師付き、自己監督型の選択肢よりも大きな性能向上を示す。
論文 参考訳（メタデータ） (2021-02-06T17:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。