論文の概要: Channel-wise Influence: Estimating Data Influence for Multivariate Time Series

• arxiv url: http://arxiv.org/abs/2408.14763v1
• Date: Tue, 27 Aug 2024 03:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 15:04:48.468703
• Title: Channel-wise Influence: Estimating Data Influence for Multivariate Time Series
• Title（参考訳）: チャネル的影響:多変量時系列におけるデータ影響の推定
• Authors: Muyao Wang, Zeke Xie, Bo Chen,
• Abstract要約: 影響関数は、トレーニングデータが削除または修正されたときのモデルパラメータや関連する関数への影響を測定する。 MTSにおける異なるチャネルの影響を推定できる最初の方法であるチャネルワイド・インフルエンス関数を提案する。 MTSにおけるチャネルの影響を推定するために,この影響関数をどのように利用できるかを示す。
• 参考スコア（独自算出の注目度）: 10.487687441178815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The influence function, a technique from robust statistics, measures the impact on model parameters or related functions when training data is removed or modified. This effective and valuable post-hoc method allows for studying the interpretability of machine learning models without requiring costly model retraining. It would provide extensions like increasing model performance, improving model generalization, and offering interpretability. Recently, Multivariate Time Series (MTS) analysis has become an important yet challenging task, attracting significant attention. However, there is no preceding research on the influence functions of MTS to shed light on the effects of modifying the channel of training MTS. Given that each channel in an MTS plays a crucial role in its analysis, it is essential to characterize the influence of different channels. To fill this gap, we propose a channel-wise influence function, which is the first method that can estimate the influence of different channels in MTS, utilizing a first-order gradient approximation that leverages the more informative average gradient of the data set. Additionally, we demonstrate how this influence function can be used to estimate the impact of a channel in MTS. Finally, we validated the accuracy and effectiveness of our influence estimation function in critical MTS analysis tasks, such as MTS anomaly detection and MTS forecasting. According to abundant experiments on real-world dataset, the original influence function performs worse than our method and even fail for the channel pruning problem, which demonstrate the superiority and necessity of channel-wise influence function in MTS analysis tasks.
• Abstract（参考訳）: ロバストな統計学のテクニックである影響関数は、トレーニングデータが削除または修正されたときのモデルパラメータや関連する関数への影響を測定する。 この効果的で価値のあるポストホック法は、コストのかかるモデル再訓練を必要とせず、機械学習モデルの解釈可能性を研究することができる。 モデルパフォーマンスの向上、モデルの一般化の改善、解釈可能性の提供などの拡張を提供する。 近年,多変量時系列解析(MTS)が重要な課題となっている。 しかし、MSSの光を遮る影響関数に関するこれまでの研究は、トレーニングMSSのチャネルを改変する効果には及ばない。 MTSの各チャネルは、その分析において重要な役割を担っているため、異なるチャネルの影響を特徴づけることが不可欠である。 このギャップを埋めるために,MTSにおける異なるチャネルの影響を推定する最初の方法であるチャネルワイド・インフルエンス関数を提案する。 さらに,MTSにおけるチャネルの影響を推定するために,この影響関数をどのように利用できるかを示す。 最後に, MTS 異常検出や MTS 予測などの重要な MTS 解析タスクにおいて, 影響推定関数の精度と有効性を検証した。 実世界のデータセットに関する豊富な実験によると、元の影響関数は我々の手法よりも悪く、チャネルプルーニング問題にさえ失敗し、MTS解析タスクにおけるチャネルワイド影響関数の優位性と必要性を示す。

関連論文リスト

• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Do Influence Functions Work on Large Language Models? [10.463762448166714]
  影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。 我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-30T06:50:18Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Revisit, Extend, and Enhance Hessian-Free Influence Functions [26.105554752277648]
  影響関数は、モデルの解釈、サブセットのトレーニングセットの選択などにおけるサンプルの影響を評価する重要なツールとして機能する。 本稿では,Trac として知られる特定の有効近似法を再検討する。 この方法は、ヘッセン行列の逆を恒等行列で置き換える。
  論文  参考訳（メタデータ） (2024-05-25T03:43:36Z)
• Bring Metric Functions into Diffusion Models [145.71911023514252]
  DDPM(Denoising Diffusion Probabilistic Model)を改善するカスケード拡散モデル(Cas-DM)を導入する。 提案した拡散モデルバックボーンはLPIPS損失の有効利用を可能にし,最先端画像品質(FID, sFID, IS)を実現する。 実験結果から,提案した拡散モデルバックボーンはLPIPS損失の有効利用を可能にし,最新画像品質(FID, sFID, IS)につながることが示された。
  論文  参考訳（メタデータ） (2024-01-04T18:55:01Z)
• Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
  チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。 従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。 我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
  論文  参考訳（メタデータ） (2021-12-05T09:30:43Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。