論文の概要: A Later Test Set Is Not a New Domain: Pretraining Familiarity Survives a Contamination-Free Hold-Out

• arxiv url: http://arxiv.org/abs/2609.10357v1
• Date: Wed, 09 Sep 2026 15:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.088272
• Title: A Later Test Set Is Not a New Domain: Pretraining Familiarity Survives a Contamination-Free Hold-Out
• Title（参考訳）: テストのあとのセットは、新しいドメインではない:親密さのトレーニングは、汚染なしのホールドアウトを生き残る
• Abstract要約: 時系列ファウンデーションモデルは、その前の公開アーカイブにのみ評価されるので、事前トレーニング中にテストセットを見たことから、強力なスコアを分離することはできない。 5つのドメインから引き出された7つのグループ上に、13の予測器(4つの古典的、3つの訓練されたデータセット、6つの事前訓練済み)を構築します。 このプロトコルの下で、事前訓練されたモデルは7つのグループのうち5つを獲得し、セタベースラインに1つを失う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time-series foundation models are evaluated almost exclusively on public archives that predate them, so a strong score cannot be separated from having seen the test set during pretraining. The obvious remedy is a hold-out that postdates the models. We build one: thirteen forecasters -- four classical, three trained per dataset, six pretrained -- on seven groups drawn from five domains, every observation published after the last model was released, and every dataset rebuildable without an API key. Under this protocol pretrained models win 5 of 7 groups, lose one to a Theta baseline, and on daily exchange rates are indistinguishable from a seasonal naive forecast, along with every other method tested. We then ask what separates the wins from the losses, and report a negative result: the two intrinsic properties one would reach for -- seasonal strength and spectral entropy, measured on the input window -- do not account for the pattern, and seasonal strength is if anything negatively associated with the advantage. What does track it is corpus familiarity. Our largest gain (28% lower MASE than the best classical method, on weekly Wikipedia pageviews) falls on Wikipedia pageviews, the domain TimesFM's authors describe as the bulk of its pretraining corpus, at the same granularities and differing only in time window. Within the pretrained family, where every model forecasts identical series so that series difficulty cancels, the TimesFM family outranks the Chronos family by -0.53 ranks on Wikipedia against -0.09 everywhere else (1,500 vs. 754 series, Mann-Whitney p < 1e-5). We conclude that a temporal hold-out removes memorisation of a window but not familiarity with a domain, that benchmarks therefore need domain hold-outs stated relative to disclosed corpora, and that the practitioner's question is less which model is better than whether their domain is one the model was raised on.
• Abstract（参考訳）: 時系列ファウンデーションモデルは、その前の公開アーカイブにのみ評価されるので、事前トレーニング中にテストセットを見たことから、強力なスコアを分離することはできない。 明らかな治療法は、モデルを延期するホールドアウトである。 5つのドメインから抽出された7つのグループ、最後のモデルがリリースされた後に公開されたすべての観察、APIキーなしで再構築可能なデータセット。 このプロトコルの下で、事前訓練されたモデルは、7つのグループのうち5つを獲得し、セタベースラインに1つを失う。 季節的強度とスペクトルエントロピー(入力ウィンドウで測定される)の2つの固有の性質は、そのパターンを考慮せず、季節的強度は、その利点に負の相関がある場合である。 追跡するものは、コーパスの親しみです。 私たちの最大の利益(週刊ウィキペディアページビューの28%よりもMASEが低い)はウィキペディアのページビューに落ちており、ドメインのTimesFMの著者は、トレーニング前のコーパスの大部分を同じ粒度で、タイムウインドウでのみ異なると説明している。 事前訓練された家族では、全てのモデルが同一のシリーズを予測し、シリーズがキャンセルされるのを困難にするため、タイムズFMファミリーはウィキペディアで-0.09(1500対754シリーズ、Mann-Whitney p < 1e-5)に対して-0.53ランクのクロノス家を上回っている。 時間的ホールドアウトは、ウィンドウの記憶を除去するが、ドメインに親しみがないため、ベンチマークでは、開示されたコーパスに対してドメインホールドアウトを記述する必要がある。

関連論文リスト

• A Fragility Spectrum for Recursive Language-Model Training [9.563027159959587]
  異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。 5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。 共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
  論文  参考訳（メタデータ） (2026-09-10T06:56:22Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Evaluating Generative Time-Series Models on Data with Point Masses [2.5536942228520814]
  このようなデータを慎重に評価するとどうなるか報告する。 標準的なローリングオリジンプロトコルは、データセットに似ていない原子構造を持つウィンドウ上でモデルをスコアすることができる。 自己回帰的ハードルは、6つのデータセットのうち5つの条件付きフローを最大133ドルまで上回る。
  論文  参考訳（メタデータ） (2026-08-10T14:57:36Z)
• When Do Foundation Models Pay Off? A Break-Even Analysis of Pretrained Time Series Forecasters [0.0]
  ファンデーションモデルは、30のデータセットのうち15のトレーニングの割合で古典的な手法よりも優れています。 n_train 700と季節性が無視できない場合、FMゼロショットを使用し、微調整をスキップする。
  論文  参考訳（メタデータ） (2026-07-06T10:48:11Z)
• Nous: A Predictive World Model for Long-Term Agent Memory [1.5229257192293202]
  Nousは、知識は記憶ではなく予測である、という原則に基づく新しいエージェントメモリアーキテクチャである。 それぞれの観測は情報理論的サプライズS = -log2 P(obs | D)によって得られる。 第一に保存されたアーティファクトはデルタであり、事実そのものではなく、過去の信念へのシフトの記録である。
  論文  参考訳（メタデータ） (2026-06-20T13:07:00Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
  言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。 Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
  論文  参考訳（メタデータ） (2023-12-16T19:12:45Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。