論文の概要: LLM Evaluation is a Forecasting Problem

• arxiv url: http://arxiv.org/abs/2610.17018v1
• Date: Mon, 12 Oct 2026 15:58:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:39:43.389223
• Title: LLM Evaluation is a Forecasting Problem
• Title（参考訳）: LLM評価は予測問題である
• Abstract要約: テキストの分散が時間とともに変化するにつれ、Webテキストは確かに非常に非定常的であることが分かっています。 将来のモデル性能は、最近の評価データに基づく測定により予測される。 予測精度に基づいてどのモデルをデプロイするかを選択することで、パフォーマンスモデルのより信頼性の高い選択が可能になる。
• 参考スコア（独自算出の注目度）: 48.184702952433135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard procedure in machine learning is to randomly split train and test data, emulating IID draws from one underlying data distribution. In practice, models are trained on past data and deployed in the future, which may come from distinct distributions. In this paper, we find that web text is indeed highly non-stationary, as text distributions shift over time. We further observe that model performance changes continuously over time across diverse benchmarks. Consequently, future model performance is better predicted by measurements made on recent evaluation data, and is best predicted by time series forecasters applied to historic performance rather than by historic performance itself. Choosing which model to deploy based on forecasted accuracy enables more reliable selection of performant models, thus improving downstream accuracy in the regime practitioners care about: deployment. Taken together, our experiments suggest that time should be treated as a fundamental variable in LLM evaluation. We release our code and data.
• Abstract（参考訳）: 機械学習の標準的な手順は、列車とテストデータをランダムに分割し、基礎となるデータ分布からIDDの描画をエミュレートすることである。 実際には、モデルは過去のデータに基づいてトレーニングされ、将来デプロイされる。 本稿では,テキストの分散が時間とともに変化するにつれて,Webテキストは実際に非常に非定常であることが分かる。 さらに、さまざまなベンチマークで、モデルのパフォーマンスが経時的に継続的に変化するのを観察します。 その結果、最近の評価データに基づく測定により将来のモデル性能がより良く予測され、過去のパフォーマンスではなく、過去のパフォーマンスに適用された時系列予測者によって最も良く予測される。 予測された精度に基づいて、どのモデルをデプロイするかを選択することで、より信頼性の高いパフォーマンスモデルの選択が可能になる。 実験結果から,LLM評価における時間的変動を基本変数として扱うことが示唆された。 コードとデータをリリースします。

関連論文リスト

• Post-training is (Massive) Supervised Learning [35.992105178197185]
  LLMの訓練の主流となるパラダイムは、SFTとRLからなる大規模な訓練後フェーズに依存するように進化してきた。 我々は,この手法が,BERT時代のプレトレインおよびファインチューンアプローチへの回帰を効果的に示していると論じる。
  論文  参考訳（メタデータ） (2026-04-20T08:52:09Z)
• Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting [64.45587649141842]
  時系列予測は多くの現実世界のアプリケーションにおいて重要な役割を果たす。 1つのモデルは、異なるテストサンプルで一貫して他よりも優れていますが、(ii) それぞれのモデルは特定のケースで優れています。 異種モデルのサンプルレベル適応融合による時系列予測のためのフレームワークであるTimeFuseを紹介する。
  論文  参考訳（メタデータ） (2025-05-24T00:45:07Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• TimeGPT in Load Forecasting: A Large Time Series Model Perspective [38.92798207166188]
  機械学習モデルは、負荷予測に大きな進歩を遂げているが、過去の負荷データが不足している場合に、その予測精度は制限されている。 本稿では,負荷予測における時系列モデルの可能性について考察する。
  論文  参考訳（メタデータ） (2024-04-07T09:05:09Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly Detection [7.829710051617368]
  本稿では,ネットワーク侵入検知のためのトラフィックデータセットである Kyoto-2006+ 上に構築された,時間とともに変化するデータを含む教師なし異常検出ベンチマークを提案する。 まず, 基本機能解析, t-SNE, および最適輸送手法を用いて, 年々の分布距離を計測する。 従来のアプローチからディープラーニングまで,さまざまなモデルでパフォーマンス劣化を検証する。
  論文  参考訳（メタデータ） (2022-06-30T17:59:22Z)
• How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
  我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。 実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
  論文  参考訳（メタデータ） (2021-12-13T22:05:26Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift [8.068725688880772]
  ほとんどの予測モデルは、トレーニングとテストデータは定常的なプロセスから生成されると仮定する。 我々は、データソースの非定常性に起因する段階的な概念の漂流のシナリオを考察する。 予測モデルの教師なし適応のための新しい反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。