論文の概要: TSRating: Rating Quality of Diverse Time Series Data by Meta-learning from LLM Judgment

• arxiv url: http://arxiv.org/abs/2506.01290v1
• Date: Mon, 02 Jun 2025 03:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.021283
• Title: TSRating: Rating Quality of Diverse Time Series Data by Meta-learning from LLM Judgment
• Title（参考訳）: TSRating: LLM判決からのメタラーニングによる時系列データの品質評価
• Authors: Shunyu Wu, Dan Li, Haozheng Ye, Zhuomin Chen, Jiahui Zhou, Jian Lou, Zibin Zheng, See-Kiong Ng,
• Abstract要約: 本稿では,様々な領域から収集された時系列データの質を評価するフレームワークであるTSRatingを提案する。 評価精度, 効率, ドメイン適応性の観点から, TSR がベースラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 35.012553346034395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality time series (TS) data are essential for ensuring TS model performance, rendering research on rating TS data quality indispensable. Existing methods have shown promising rating accuracy within individual domains, primarily by extending data quality rating techniques such as influence functions and Shapley values to account for temporal characteristics. However, they neglect the fact that real-world TS data can span vastly different domains and exhibit distinct properties, hampering the accurate and efficient rating of diverse TS data. In this paper, we propose TSRating, a novel and unified framework for rating the quality of time series data crawled from diverse domains. TSRating is built on the assumption that LLMs inherit ample knowledge, acquired during their extensive pretraining, enabling them to comprehend and discern quality differences in diverse TS data. We verify this assumption by devising a series of prompts to elicit quality comparisons from LLMs for pairs of TS samples. We then fit a dedicated rating model, termed TSRater, to convert the LLMs' judgments into efficient quality predictions via TSRater's inference on future TS samples. To ensure cross-domain adaptability, we develop a meta-learning scheme to train TSRater on quality comparisons collected from nine distinct domains. To improve training efficiency, we employ signSGD for inner-loop updates, thus circumventing the demanding computation of hypergradients. Extensive experimental results on eleven benchmark datasets across three time series tasks, each using both conventional TS models and TS foundation models, demonstrate that TSRating outperforms baselines in terms of estimation accuracy, efficiency, and domain adaptability.
• Abstract（参考訳）: 高品質な時系列データ(TS)は、TSモデルの性能を保証するために不可欠であり、評価TSデータ品質の研究は不可欠である。 既存の手法では、時間特性を考慮した影響関数やシェープ値などのデータ品質評価手法を拡張して、個々の領域内で有望な評価精度を示す。 しかし、現実世界のTSデータは異なる領域にまたがり、異なる特性を示すことができるという事実を無視し、多様なTSデータの正確かつ効率的な評価を妨げている。 本稿では,多様な領域から収集された時系列データの品質を評価するための,新しい統一フレームワークTSRatingを提案する。 TSRatingは、LLMが広範な事前訓練中に取得した豊富な知識を継承し、多様なTSデータの品質差を理解し、識別することができるという仮定に基づいて構築されている。 TS サンプルのペアに対して LLM から品質比較を導出する一連のプロンプトを考案して,この仮定を検証する。 次に、TSRaterと呼ばれる専用評価モデルを適用し、将来のTSサンプルに対するTSRaterの推測を通じて、LSMの判断を効率的な品質予測に変換する。 ドメイン間の適応性を確保するため,9つの異なるドメインから収集した品質比較に基づいてTSRaterを学習するメタラーニング手法を開発した。 トレーニング効率を向上させるために,内部ループ更新に signSGD を用いる。 従来のTSモデルとTSファンデーションモデルの両方を用いて、3つの時系列タスクを対象とした11のベンチマークデータセットの大規模な実験結果から、TSRatingは推定精度、効率、ドメイン適応性においてベースラインを上回っていることが示された。

関連論文リスト

• Call for Rigor in Reporting Quality of Instruction Tuning Data [7.284192559306471]
  研究は、インストラクションチューニング(IT)データの品質の重要性を強調している。 この実践から生じる潜在的な問題を実証し、データ品質を検証する上で慎重に検討する必要があることを強調する。
  論文  参考訳（メタデータ） (2025-03-04T02:04:58Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• TSI-Bench: Benchmarking Time Series Imputation [52.27004336123575]
  TSI-Benchは、ディープラーニング技術を利用した時系列計算のための総合ベンチマークスイートである。 TSI-Benchパイプラインは、実験的な設定を標準化し、計算アルゴリズムの公平な評価を可能にする。 TSI-Benchは、計算目的のために時系列予測アルゴリズムを調整するための体系的なパラダイムを革新的に提供する。
  論文  参考訳（メタデータ） (2024-06-18T16:07:33Z)
• Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis [70.78170766633039]
  我々は、MTS予測提案を確実かつ公平に評価する手段の必要性に対処する。 BasicTS+は、MTS予測ソリューションの公平で包括的で再現可能な比較を可能にするために設計されたベンチマークである。 リッチデータセットとともにBasicTS+を適用し,45 MTS以上の予測ソリューションの性能を評価する。
  論文  参考訳（メタデータ） (2023-10-09T19:52:22Z)
• Quantifying Quality of Class-Conditional Generative Models in Time-Series Domain [4.219228636765818]
  Inception Time Score(ITS)とFrechet Inception Time Distance(FITD)を導入し、時系列領域におけるクラス条件生成モデルの質的性能を評価する。 提案した指標の識別能力を調べるため,80種類のデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-14T08:13:20Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• Investigating Text Simplification Evaluation [21.128143745540292]
  現代のテキスト単純化(TS)は、機械学習モデルを構築するための金の標準データの利用に大きく依存している。 既存の研究では、平行TSコーパスは不正確な単純化と不正確なアライメントを含むことが示されている。 評価は通常、BLEUやSARIといったメトリクスを使用して、システム出力と金の標準を比較することで行われる。
  論文  参考訳（メタデータ） (2021-07-28T22:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。