論文の概要: Train-before-Test Harmonizes Language Model Rankings

• arxiv url: http://arxiv.org/abs/2507.05195v1
• Date: Mon, 07 Jul 2025 16:54:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.526971
• Title: Train-before-Test Harmonizes Language Model Rankings
• Title（参考訳）: Train-before-Testが言語モデルランキングを調和
• Authors: Guanhua Zhang, Ricardo Dominguez-Olmedo, Moritz Hardt,
• Abstract要約: 既存の言語モデルベンチマークは、類似のスキルを捉えることを目的としたベンチマークであっても、矛盾するモデルランキングを提供する。 最近の作業は、試験作業におけるトレーニングの現象によるランキングの不一致によるものである。 それぞれのモデルに、評価の前に同じベンチマーク固有の微調整を与える。
• 参考スコア（独自算出の注目度）: 19.376617098281876
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Existing language model benchmarks provide contradictory model rankings, even for benchmarks that aim to capture similar skills. This dilemma of conflicting rankings hampers model selection, clouds model comparisons, and adds confusion to a growing ecosystem of competing models. Recent work attributed ranking disagreement to the phenomenon of training on the test task: As released, different models exhibit a different level of preparation for any given test task. A candidate solution to the problem is train-before-test: Give each model the same benchmark-specific finetuning before evaluation. Our primary contribution is a broad empirical evaluation of train-before-test across 24 benchmarks and 61 models. We show that train-before-test significantly improves ranking agreement consistently across all benchmarks. Whereas rankings have little external validity to start with, they enjoy a significant degree of external validity when applying train-before-test: Model rankings transfer gracefully from one benchmark to the other. Even within the same model family, train-before-test reduces strong ranking disagreement to near-perfect agreement. In addition, train-before-test reduces the model-score matrix to essentially rank one, revealing new insights into the latent factors of benchmark performance. Our work supports the recommendation to make train-before-test a default component of LLM benchmarking.
• Abstract（参考訳）: 既存の言語モデルベンチマークは、類似のスキルを捉えることを目的としたベンチマークであっても、矛盾するモデルランキングを提供する。 この対立するランキングのジレンマは、ハッパーモデルの選択、クラウドモデルの比較、競合するモデルのエコシステムに混乱をもたらす。 最近の研究は、テストタスクにおけるトレーニングの現象によるランキングの不一致を原因としている。 それぞれのモデルに、評価の前に同じベンチマーク固有の微調整を与える。 我々の主な貢献は、24のベンチマークと61のモデルにまたがる列車前試験の広範な実験的評価である。 列車前テストでは、すべてのベンチマークにおいて、ランキングアグリーメントが一貫して改善されることが示される。 ランキングは、まずは外部の妥当性がほとんどないが、列車に事前テストを適用する際には、かなりのレベルの外部の妥当性を享受する。 同じモデルファミリー内であっても、列車前試験は強いランクの不一致をほぼ完全な合意に還元する。 さらに、Train-before-testはモデルスコア行列を基本的にランク付けするように減らし、ベンチマークパフォーマンスの潜在要因に関する新たな洞察を明らかにします。 LLMベンチマークのデフォルトコンポーネントとしてTrain-before-testを推奨する作業を支援しています。

関連論文リスト

• RewardBench 2: Advancing Reward Model Evaluation [71.65938693914153]
  リワードモデルは、好みのデータからニュアンスされた信号をキャプチャするために、言語モデルの訓練後を通して使用される。 コミュニティは報酬モデルを評価するためのベストプラクティスを確立し始めている。 本稿では,新しいマルチスキル報酬モデルベンチマークであるRewardBench 2を紹介する。
  論文  参考訳（メタデータ） (2025-06-02T17:54:04Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• Importance of Disjoint Sampling in Conventional and Transformer Models for Hyperspectral Image Classification [2.1223532600703385]
  本稿では、ハイパースペクトル画像分類(HSIC)タスク上でSOTAモデルをトレーニングするための革新的な不整合サンプリング手法を提案する。 重なりのないトレーニング,検証,テストデータを分離することにより,提案手法は,トレーニングや検証中に露出していないピクセルをどの程度正確に分類できるかを,より公平に評価することができる。 この厳密な手法は、SOTAモデルの発展と、ハイパースペクトルセンサーを用いた大規模陸地マッピングへの実際の応用に欠かせない。
  論文  参考訳（メタデータ） (2024-04-23T11:40:52Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Monotonicity in practice of adaptive testing [0.0]
  本稿では,最近提案された単調性勾配アルゴリズムを用いて学習した適応テストのためのベイジアンネットワークモデルについて検討する。 手法の質は、チェコ国立数学試験の大規模なデータセットで実証的に評価される。
  論文  参考訳（メタデータ） (2020-09-15T10:55:41Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。