論文の概要: Unifying Prediction and Explanation in Time-Series Transformers via Shapley-based Pretraining

• arxiv url: http://arxiv.org/abs/2501.15070v1
• Date: Sat, 25 Jan 2025 04:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:36.100524
• Title: Unifying Prediction and Explanation in Time-Series Transformers via Shapley-based Pretraining
• Title（参考訳）: シェープリーベース事前学習による時系列変換器の統一予測と説明
• Authors: Qisen Cheng, Jinming Xing, Chang Xue, Xiaoran Yang,
• Abstract要約: ShapTSTは、時系列トランスフォーマーが、1つのフォワードパスで予測と並行してShapley値ベースの説明を効率的に生成することを可能にするフレームワークである。 本フレームワークは,新しいShapleyベースの事前学習設計を通じて,学習における説明と予測を統一する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we propose ShapTST, a framework that enables time-series transformers to efficiently generate Shapley-value-based explanations alongside predictions in a single forward pass. Shapley values are widely used to evaluate the contribution of different time-steps and features in a test sample, and are commonly generated through repeatedly inferring on each sample with different parts of information removed. Therefore, it requires expensive inference-time computations that occur at every request for model explanations. In contrast, our framework unifies the explanation and prediction in training through a novel Shapley-based pre-training design, which eliminates the undesirable test-time computation and replaces it with a single-time pre-training. Moreover, this specialized pre-training benefits the prediction performance by making the transformer model more effectively weigh different features and time-steps in the time-series, particularly improving the robustness against data noise that is common to raw time-series data. We experimentally validated our approach on eight public datasets, where our time-series model achieved competitive results in both classification and regression tasks, while providing Shapley-based explanations similar to those obtained with post-hoc computation. Our work offers an efficient and explainable solution for time-series analysis tasks in the safety-critical applications.
• Abstract（参考訳）: 本稿では,時系列変換器が単一前方パスでの予測と並行して,Shapley値に基づく説明を効率的に生成できるフレームワークShapTSTを提案する。 共有値は、テストサンプルにおける異なる時間ステップと特徴の寄与を評価するために広く用いられ、情報の異なる部分のサンプルに対して繰り返し推測することによって、一般的に生成される。 したがって、モデル説明の要求毎に発生する高価な推論時間計算が必要である。 対照的に,本フレームワークは,新しいShapleyベースの事前学習設計を通じて,学習における説明と予測を統一し,望ましくないテスト時間計算を排除し,単時間事前学習に置き換える。 さらに、この特化事前学習は、トランスフォーマーモデルを時系列データに共通するデータノイズに対するロバスト性を改善することにより、時系列の異なる特徴や時間ステップをより効果的に評価することにより、予測性能を向上する。 我々は8つの公開データセットに対する我々のアプローチを実験的に検証し、我々の時系列モデルは分類タスクと回帰タスクの両方において競合する結果を得たが、Shapleyに基づく説明はポストホック計算で得られたものと類似している。 我々の研究は、安全クリティカルなアプリケーションにおける時系列解析タスクの効率的かつ説明可能なソリューションを提供する。

関連論文リスト

• DAM: Towards A Foundation Model for Time Series Forecasting [0.8231118867997028]
  本稿では,ランダムにサンプリングされた履歴を抽出し,時間連続関数として調整可能な基底組成を出力するニューラルモデルを提案する。 1)長い尾の分布からランダムにサンプリングされたヒストリーを使用する柔軟なアプローチ、(2)これらの活発にサンプリングされたヒストリーに基づいてトレーニングされたトランスフォーマーバックボーンを表現的出力として、(3)時間の連続関数の基底係数を含む。
  論文  参考訳（メタデータ） (2024-07-25T08:48:07Z)
• Probing the Robustness of Time-series Forecasting Models with CounterfacTS [1.823020744088554]
  我々は,時系列予測タスクにおけるディープラーニングモデルの堅牢性を調査するツールであるCounterfacTSを提示し,公開する。 CounterfacTSにはユーザフレンドリーなインターフェースがあり、時系列データとその予測を視覚化、比較、定量化することができる。
  論文  参考訳（メタデータ） (2024-03-06T07:34:47Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
  SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。 具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。 我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-25T03:33:45Z)
• Efficient Shapley Values Estimation by Amortization for Text Classification [66.7725354593271]
  我々は,各入力特徴のシェープ値を直接予測し,追加のモデル評価を行なわずに補正モデルを開発する。 2つのテキスト分類データセットの実験結果から、アモルタイズされたモデルでは、Shapley Valuesを最大60倍のスピードアップで正確に見積もっている。
  論文  参考訳（メタデータ） (2023-05-31T16:19:13Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Ensemble Conformalized Quantile Regression for Probabilistic Time Series Forecasting [4.716034416800441]
  本稿では,アンサンブル共形量子化回帰(EnCQR)と呼ばれる新しい確率予測手法を提案する。 EnCQRは、分布のないほぼ妥当な予測間隔(PI)を構築し、非定常およびヘテロセダスティック時系列データに適しており、任意の予測モデルの上に適用することができる。 その結果、EnCQRは量子レグレッションやコンフォメーション予測のみに基づくモデルよりも優れており、よりシャープで、より情報的で、有効なPIを提供することが示された。
  論文  参考訳（メタデータ） (2022-02-17T16:54:20Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series [20.958959332978726]
  SAFは、バックキャストに基づく予測に先立って自己適応段階を統合する」 提案手法は,符号化された表現を進化する分布に効率よく適応させることにより,より優れた一般化を実現する。 時系列データが医療や金融などの非定常性で知られる領域における合成および実世界のデータセットについて、SAFの顕著なメリットを実証する。
  論文  参考訳（メタデータ） (2022-02-04T21:54:10Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。