論文の概要: On Creating a Causally Grounded Usable Rating Method for Assessing the Robustness of Foundation Models Supporting Time Series

• arxiv url: http://arxiv.org/abs/2502.12226v1
• Date: Mon, 17 Feb 2025 15:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:05.082727
• Title: On Creating a Causally Grounded Usable Rating Method for Assessing the Robustness of Foundation Models Supporting Time Series
• Title（参考訳）: 時系列を支援する基礎モデルのロバスト性評価のための因果的評価法の開発
• Authors: Kausik Lakkaraju, Rachneet Kaur, Parisa Zehtabi, Sunandita Patra, Siva Likitha Valluru, Zhen Zeng, Biplav Srivastava, Marco Valtorta,
• Abstract要約: 本稿では,時系列の基本モデルが持つロバスト性を研究するための,因果的基盤評価フレームワークを提案する。 我々は、三つの産業にまたがる6つの著名な株式の6つの最先端(幾らかのマルチモーダル)FMTSを評価した。
• 参考スコア（独自算出の注目度）: 9.785749529142304
• License:
• Abstract: Foundation Models (FMs) have improved time series forecasting in various sectors, such as finance, but their vulnerability to input disturbances can hinder their adoption by stakeholders, such as investors and analysts. To address this, we propose a causally grounded rating framework to study the robustness of Foundational Models for Time Series (FMTS) with respect to input perturbations. We evaluate our approach to the stock price prediction problem, a well-studied problem with easily accessible public data, evaluating six state-of-the-art (some multi-modal) FMTS across six prominent stocks spanning three industries. The ratings proposed by our framework effectively assess the robustness of FMTS and also offer actionable insights for model selection and deployment. Within the scope of our study, we find that (1) multi-modal FMTS exhibit better robustness and accuracy compared to their uni-modal versions and, (2) FMTS pre-trained on time series forecasting task exhibit better robustness and forecasting accuracy compared to general-purpose FMTS pre-trained across diverse settings. Further, to validate our framework's usability, we conduct a user study showcasing FMTS prediction errors along with our computed ratings. The study confirmed that our ratings reduced the difficulty for users in comparing the robustness of different systems.
• Abstract（参考訳）: ファンデーションモデル(FM)は金融など様々な分野の時系列予測を改善しているが、入力障害に対する脆弱性は投資家やアナリストなどの利害関係者による採用を妨げる可能性がある。 そこで本稿では,入力摂動に関するFMTS(Foundational Models for Time Series)の堅牢性を検討するための,因果的基盤評価フレームワークを提案する。 我々は,3つの産業にまたがる6つの著名な株式の6つの最先端(幾らかのマルチモーダル)FMTSを評価するとともに,アクセスし易い公開データを伴うよく研究された問題である株価予測問題に対する我々のアプローチを評価する。 我々のフレームワークが提案する評価は,FMTSの堅牢性を効果的に評価し,モデル選択と展開に対する実用的な洞察を提供する。 本研究の範囲内では,(1)マルチモーダルFMTSは単モーダル版に比べ,より堅牢性および精度が高いこと,(2)時系列予測タスクで事前トレーニングされたFMTSは,多種多様な設定で事前トレーニングされた汎用FMTSと比較して,より堅牢性および予測精度が高いことが確認された。 さらに,本フレームワークのユーザビリティを検証するために,FMTS予測誤差と計算された評価値を示すユーザスタディを実施している。 その結果,システム間のロバスト性を比較するのが困難であることが確認された。

関連論文リスト

• Forecasting Company Fundamentals [19.363166648866066]
  実企業データに基づく予測モデルについて,22の決定論的・確率的企業基盤を評価した。 ディープラーニングモデルは,従来のモデルよりも優れた予測性能を提供する。 これらの高品質な予測が、自動株式配分にどのような恩恵をもたらすかを示す。
  論文  参考訳（メタデータ） (2024-10-21T14:21:43Z)
• AMA-LSTM: Pioneering Robust and Fair Financial Audio Analysis for Stock Volatility Prediction [25.711345527738068]
  マルチモーダル法は 2つの欠点に直面しています 彼らはしばしば、信頼できるモデルを得るのに失敗し、株式市場からの情報の吸収のためにデータを過大評価する。 株のボラティリティを予測するためにマルチモーダルモデルを使用することは、性別バイアスに悩まされ、そのようなバイアスを取り除く効率的な方法が欠如している。 我々は,ロバストネス・ワールド・ファイナンシャル・オーディオ・データセットに関する包括的な実験を行い,この手法が現在の最先端ソリューションの性能を上回ることを示した。
  論文  参考訳（メタデータ） (2024-07-03T18:40:53Z)
• Rating Multi-Modal Time-Series Forecasting Models (MM-TSFM) for Robustness Through a Causal Lens [10.103561529332184]
  ノイズや不正なデータによる不正確さが誤った予測につながるような,マルチモーダルな時系列予測に重点を置いている。 本稿では,マルチモーダル時系列予測モデルのロバスト性を評価するための評価手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T17:39:16Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Two-stage Modeling for Prediction with Confidence [0.0]
  分布シフト条件下でニューラルネットワークの性能を一般化することは困難である。 本稿では,分散シフト問題に対する新しい2段階モデルを提案する。 我々のモデルは、ほとんどのデータセットに対して信頼性の高い予測を提供することを示す。
  論文  参考訳（メタデータ） (2022-09-19T08:48:07Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines [65.0803400763215]
  この研究は、最先端のロバストモデルがアウト・オブ・ディストリビューションデータに遭遇した場合、敵のロバスト性がどのように変化を保証しているかを批判的に検証する。 本稿では,トレーニングデータのスペクトルカバレッジを改善するために,新たなデータ拡張方式であるFourierMixを提案する。 また,FourierMixの拡張により,様々なOODベンチマークにおいて,より優れたロバスト性保証を実現することが可能となる。
  論文  参考訳（メタデータ） (2021-12-01T17:11:22Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Forecasting COVID-19 daily cases using phone call data [0.0]
  本稿では,コールデータを用いて日次確認症例数を予測するために最適化した簡易な多重線形回帰モデルを提案する。 提案手法は, ARIMA, ETS, および呼び出しデータのない回帰モデルより優れており, 3点予測誤差, 1点予測間隔, 2点の確率予測精度測定によって評価される。
  論文  参考訳（メタデータ） (2020-10-05T18:07:07Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。