Fugu-MT 論文翻訳(概要): Random Initialization as a Baseline for Time Series Foundation Models

論文の概要: Random Initialization as a Baseline for Time Series Foundation Models

arxiv url: http://arxiv.org/abs/2610.30950v1
Date: Thu, 22 Oct 2026 09:01:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 02:08:44.295006
Title: Random Initialization as a Baseline for Time Series Foundation Models
Title（参考訳）: 時系列基礎モデルのベースラインとしてのランダム初期化
Abstract要約: 時系列基礎モデル(TSFM)は、下流タスクの再利用表現を学習するために自己教師付き事前訓練を使用する。 UEA MTSCアーカイブ上で,4つのTSFMファミリーから公開された7つのパブリックインスタンスと,アーキテクチャにマッチしたランダムな対応のインスタンスを比較した。事前トレーニングでは7つのインスタンスの平均精度が向上するが、利得は1.43から5.19ポイントの範囲で、全体の平均改善率は2.58ポイントである。
参考スコア（独自算出の注目度）: 1.8692254863855962
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Time series foundation models (TSFMs) use self-supervised pretraining to learn reusable representations for downstream tasks such as multivariate time series classification (MTSC). We examine how much pretrained weights contribute beyond the architecture itself by comparing seven publicly released instances from four TSFM families with architecture-matched randomly initialized counterparts on the UEA MTSC archive. For each instance, five random initializations are evaluated using four classifiers on frozen representations: ridge classification, logistic regression, RBF SVM, and random forest. After model-specific exclusions due to computational constraints, the study comprises 183 paired dataset-level comparisons. Pretraining improves mean accuracy for all seven instances, but the gains are modest, ranging from 1.43 to 5.19 percentage points, with an overall average improvement of 2.58 points. Three of seven per-instance Wilcoxon signed-rank tests have raw $p$-values below 0.05, but only NuTime remains significant after Holm correction. A secondary pooled test across all 183 pairs gives $p < 0.001$, while the corrected per-instance tests remain the primary evidence. We also compare with ROCKET, Hydra, and Quant, which remain competitive without requiring large-scale pretraining. These findings suggest that MTSC evaluations should distinguish the effect of pretrained weights from that of the underlying architecture and should include both architecture-matched random initialization and strong non-pretrained baselines.
Abstract（参考訳）: 時系列基礎モデル(TSFM)は、マルチ変数時系列分類(MTSC)のような下流タスクの再利用可能な表現を学習するために、自己教師付き事前訓練を使用する。 UEA MTSCアーカイブ上で、アーキテクチャに適合したランダムに初期化された4つのTSFMファミリーから公開された7つの公開インスタンスを比較して、事前訓練した重みがアーキテクチャ自体にどの程度寄与するかを検討する。いずれの場合も、凍結表現の4つの分類器(リッジ分類、ロジスティック回帰、RBF SVM、ランダムフォレスト)を用いて、5つのランダム初期化を評価する。計算制約によるモデル固有の除外の後、この研究は183対のデータセットレベルの比較を含む。事前トレーニングでは7つのインスタンスの平均精度が向上するが、利得は1.43から5.19ポイントの範囲で、全体の平均改善率は2.58ポイントである。 7つのインスタンスごとのウィルコクソン符号付き試験のうち3つは0.05以下のp$-値を持つが、Holmの修正後もNuTimeのみが重要なままである。二次プールテストは183対すべてに$p < 0.001$を与えるが、修正されたインスタンスごとのテストは主要な証拠である。また、ROCKET、Hydra、Quantと比較し、大規模な事前トレーニングを必要とせずに競争力を維持する。これらの結果から, MTSC評価は, 既修重量の影響を基礎構造と区別し, アーキテクチャに適合したランダム初期化と非既修ベースラインの強化を両立すべきであることが示唆された。

関連論文リスト

RTSM: Adapting Recursive Models to Multivariate Time-Series Classification [12.585747602123178]
時系列分類では、時間的特徴を抽出し、シーケンス間で情報を統合する必要がある。重み付けリファインメントは、各ステージで新しいパラメータを割り当てることなく、これらの機能を繰り返し処理する方法を提供する。本稿では,学習した畳み込み時間トークン化器,単状態重み付け精錬,プール型分類読出を組み合わせたRTSM(Recursive Time-Series Model)を提案する。
論文参考訳（メタデータ） (2026-10-16T11:59:34Z)
Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
論文参考訳（メタデータ） (2026-10-13T01:52:19Z)
Towards Robust Time Series Learning via Capacity-Centric Modulation [76.23489485385964]
本稿では,CCM(Capacity-Centric Modulation)を相補的,サンプル適応正規化原理として提案する。 SACM(Sample-Adaptive Capacity Modulation)は,スペクトル空間の分散を利用して,サンプルワイドドロップアウト確率を割り当てるタスク非依存のフレームワークである。 301個の実世界のデータセット-バックボーンペアのうち、SACMは平均でMSEの予測を6.7%削減し、分類精度を3.04%改善し、ポイント調整されたF1を17.05%改善した。
論文参考訳（メタデータ） (2026-09-30T10:51:23Z)
Open ultrasound foundation model for robust segmentation and clinical measurement across heterogeneous settings [66.3653308198376]
SonoCorpusは、24の臨床応用と17の国にまたがる53のパブリックデータセットから、456,963のイメージと1,626,085のエキスパートマスクを統合するオープンリソースである。 SonoBaseは、事前にトレーニングされたインタラクティブセグメンテーション基盤モデルである。
論文参考訳（メタデータ） (2026-09-16T15:34:21Z)
Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis [48.83701310501069]
ニューラルアーキテクチャ探索(NAS)のためのニューラルネットワークコードにプログレッシブなカリキュラムを構築するMinHashベースの類似性スケジューリングフレームワークを導入する。我々は,CIFAR-10画像分類におけるLEMURベンチマークにおいて,オリンピックコード7Bの枠組みを評価する。 SVHNでは,カリキュラムなしの直接ベースモデル生成により,CIFAR-10相当値よりもかなり低い精度(60.5%)で27%のSRが得られる。
論文参考訳（メタデータ） (2026-07-13T14:14:30Z)
Towards Evaluating Data Priors for Tabular Foundation Models [74.75794086564035]
我々は、実際のデータセットから構築された公開事前および事前の統一インターフェースを実装している。我々は、事前からトレーニングタスクを生成し、同じモデルアーキテクチャを固定されたトレーニングプロトコルでトレーニングし、共有下流分類タスクで得られたモデルを評価する。以上の結果から,より強い絶対性能を達成できるものや,データセット間の相対的ランキングの一貫性が向上するものもある。
論文参考訳（メタデータ） (2026-06-28T07:12:45Z)
TabH2O: A Unified Foundation Model for Tabular Prediction [12.882141870947706]
本研究では,テキスト内学習による1つの前方パスの分類と回帰を行うモデルであるTabH2Oを提案する。我々はTALENTベンチマークでTabH2O v1(29.2Mパラメータ)を評価し、6つの評価手法のうち平均2.55のランクを達成した。
論文参考訳（メタデータ） (2026-05-18T13:27:54Z)
Bit-Identical Medical Deep Learning via Structured Orthogonal Initialization [0.0]
深層学習トレーニングは非決定論的であり、異なるランダムなシードを持つ同一のコードは、集約メトリクスに異を唱えるが個々の予測に異を唱えるモデルを生成する。ランダム性の3つの源を除去する検証ビット識別訓練の枠組みを提案する。
論文参考訳（メタデータ） (2026-03-30T05:04:57Z)
QuitoBench: A High-Quality Open Time Series Forecasting Benchmark [32.21290355342465]
時系列予測は、ファイナンス、ヘルスケア、クラウドコンピューティングにおいて重要である。時系列予測のための状態バランスのベンチマークであるtextscQuitoBenchを紹介する。
論文参考訳（メタデータ） (2026-03-27T02:24:34Z)
Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules [0.7009487789080344]
適切なスコアリングルールは、トレーニング中に異なるモデルランキングと異なる帰納バイアスを誘導することを示す。事前トレーニング中に見えないスコアルールを持つ微調整の realTabPFNv2.5 は、対応するメトリクスに対して一貫した改善をもたらす。
論文参考訳（メタデータ） (2026-03-09T10:38:01Z)
TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つであるパフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。