論文の概要: Beyond Static Leaderboards: Capability-Focused Evaluation with Structural Diversity for Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2610.26251v1
• Date: Mon, 19 Oct 2026 12:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:41:34.081474
• Title: Beyond Static Leaderboards: Capability-Focused Evaluation with Structural Diversity for Time Series Foundation Models
• Title（参考訳）: 静的リーダーボードを超えて:時系列基礎モデルのための構造的多様性を考慮した能力重視評価
• Abstract要約: CaFE(Capability-Focused Evaluation)は、オリジナルのベンチマークデータに基づくリフレッシュ可能な評価拡張である。 その結果, CaFEは安定な評価結果を示し, 単一集合スコアが隠蔽する機能的強度と弱点を明らかにした。
• 参考スコア（独自算出の注目度）: 14.633626237037822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static public benchmarks for time series foundation models (TSFMs) typically have fixed and narrow test distributions. Their repeated reuse encourages benchmark-specific tuning, making reported performance reflect adaptation to the fixed test set rather than genuine forecasting generalization. In addition, a single aggregate score cannot fully characterize model capabilities across distinct temporal structures and input relationships. We propose CaFE (Capability-Focused Evaluation), a refreshable evaluation extension grounded in original benchmark data that enriches static benchmarks with structural diversity and enriches single-score black-box evaluation with multi-dimensional, capability-oriented assessment. CaFE first profiles the original benchmark and defines eight Structural Features (SFs) that characterize its temporal structure. For each SF, it resamples the original data according to its structural support, removes edge-of-distribution samples, and augments the retained samples by varying the SF's salience, producing samples with different structural profiles. After filtering out out-of-distribution samples while preserving diversity, CaFE yields a refreshed evaluation set. TSFMs are then evaluated on this set using both conventional forecast-error metrics and intervention-response metrics, giving each model a per-feature capability profile alongside endpoint accuracy. Experiments on GIFT-Eval and FEV-Mini20 show that CaFE yields stable evaluation results and reveals per-feature strengths and weaknesses that a single aggregate score hides. Moreover, on genuine data filtered by structural condition, models selected by CaFE outperform those chosen by the aggregate leaderboard. CaFE therefore makes model selection conditional on the structural response of interest.
• Abstract（参考訳）: 時系列基礎モデル(TSFM)の静的な公開ベンチマークは通常、固定されたテスト分布と狭いテスト分布を持つ。 彼らの繰り返しの再利用はベンチマーク固有のチューニングを奨励し、報告された性能は真の予測一般化ではなく、固定されたテストセットへの適応を反映させる。 さらに、単一の集計スコアは、異なる時間構造と入力関係をまたいだモデル機能を完全に特徴づけることができない。 提案するCaFE(Capability-Focused Evaluation)は,構造的多様性を持つ静的ベンチマークの強化と,多次元・機能指向評価によるシングルスコアブラックボックス評価の強化を目的とした,元のベンチマークデータに基づくリフレッシュ可能な評価拡張である。 CaFEは最初にオリジナルのベンチマークをプロファイルし、その時間構造を特徴付ける8つの構造特徴(SF)を定義する。 各SFについて、元のデータをその構造的サポートに従って再サンプリングし、エッジ・オブ・ディストリビューションのサンプルを除去し、保存されたサンプルをSFの塩分の変化によって増量し、異なる構造的プロファイルを持つサンプルを生成する。 多様性を保ちながら分布外サンプルをフィルタリングした後、CaFEはリフレッシュされた評価セットを得る。 TSFMは、従来の予測エラーメトリクスと介入応答メトリクスの両方を使用して、このセットで評価され、各モデルにエンドポイントの精度とともに機能毎の機能プロファイルが与えられる。 GIFT-EvalとFEV-Mini20の実験では、CaFEは安定した評価結果をもたらし、単一の集計スコアが隠している機能ごとの強度と弱点を明らかにする。 さらに、構造条件でフィルタリングされた真のデータでは、CaFEによって選択されたモデルは、集約されたリーダーボードによって選択されたモデルよりも優れている。 したがって、CaFEは興味の構造的応答にモデル選択条件を与える。

関連論文リスト

• Towards Robust Time Series Learning via Capacity-Centric Modulation [76.23489485385964]
  本稿では,CCM(Capacity-Centric Modulation)を相補的,サンプル適応正規化原理として提案する。 SACM(Sample-Adaptive Capacity Modulation)は,スペクトル空間の分散を利用して,サンプルワイドドロップアウト確率を割り当てるタスク非依存のフレームワークである。 301個の実世界のデータセット-バックボーンペアのうち、SACMは平均でMSEの予測を6.7%削減し、分類精度を3.04%改善し、ポイント調整されたF1を17.05%改善した。
  論文  参考訳（メタデータ） (2026-09-30T10:51:23Z)
• Latent Inference-Time Guidance of Time Series Foundation Models [12.481977436468938]
  Time Series Foundation Models (TSFM) は現在、予測タスクの最先端結果を提供している。 それらはアウト・オブ・ボックスで利用可能で、予測を行うにはコンテキスト内学習に依存します。 本稿では、TSFM予測のプールを時間依存の潜時空間と独立成分に適応的に結合したTSFMの遅延推論時ガイダンスを提案する。
  論文  参考訳（メタデータ） (2026-09-29T17:25:58Z)
• Fractionally Supervised Classification with Maxima Nominated Samples [12.307540399602523]
  Fractionally supervised classification (FSC) は、ラベル付きデータとラベルなしデータをモデルベース分類で組み合わせるための柔軟なフレームワークを提供する。 提案手法は, 最大値のクラスメンバシップと, 残りのユニットの潜時構成の両方を考慮に入れた潜時表現を導入することで, 提案した標本に対するFCCを開発する。 得られた手法は、NSデータに対する適切なEMアルゴリズムとコヒーレントな重み付きFSC手順を生成する。
  論文  参考訳（メタデータ） (2026-04-28T02:48:03Z)
• It's TIME: Towards the Next Generation of Time Series Forecasting Benchmarks [87.7937890373758]
  時系列基礎モデル(TSFM)は,特定のデータセットモデルから一般化可能なタスク評価に至るまで,予測環境に革命をもたらしている。 我々は、50の新しいデータセットと98の予測タスクからなる次世代タスク中心のベンチマークであるTIMEを紹介する。 静的なメタラベルに基づく従来のデータセットレベルの評価を超える新しいパターンレベルの評価視点を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:31:01Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [69.41389326333771]
  トレーニングデータとテストデータの間に大きな分散ギャップが存在する場合、視覚言語の基礎モデルは信頼できない。 本稿では,DOTA(DistributiOnal Test-time Adaptation)を提案する。 この分散中心のアプローチは、モデルが継続的に学習し、デプロイメント環境に適応することを可能にする。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Benchmarking Spurious Bias in Few-Shot Image Classifiers [26.544938760265136]
  画像分類器はほとんどないが、クラスとスプリアス属性の間のスプリアス相関に依存しており、スプリアスバイアスとして知られている。 我々はFewSTABを提案する。このFewSTABは、数発の分類器の様々な頑健さを定量的に証明し、定量化し、刺激バイアスを与える。 FewSTABは、バイアスのある属性を持つ少数ショット評価タスクを生成し、予測にそれらを使用することでパフォーマンスが低下することを示す。
  論文  参考訳（メタデータ） (2024-09-04T17:07:46Z)
• Conformal Recursive Feature Elimination [0.0]
  コンフォーマル予測(CP)は、個々の予測に関連する有効かつ正確な信頼度を決定できる。 本稿では,CP フレームワークを利用した新しい特徴選択手法を提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:10:36Z)
• Energy-Based Test Sample Adaptation for Domain Generalization [81.04943285281072]
  そこで本研究では,ドメインの試験時間におけるエネルギーに基づくサンプル適応を提案する。 対象試料をソース分布に適応させるため,エネルギー最小化により反復的に試料を更新する。 画像とマイクロブログスレッドの分類のための6つのベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-22T08:55:09Z)
• Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification [66.91839845347604]
  特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。 我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。 提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
  論文  参考訳（メタデータ） (2020-05-18T05:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。