論文の概要: How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking

• arxiv url: http://arxiv.org/abs/2610.19185v1
• Date: Tue, 13 Oct 2026 20:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.807114
• Title: How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking
• Title（参考訳）: 評価方法がわからないときに評価する方法? ベース言語モデルベンチマークのための信頼性の高いセットアップを選択する
• Abstract要約: そこで本研究では,タスクの定式化やコンテキスト内サンプル数などの8つの側面を調査し,効果的な評価設定を同定する。 提案手法は,3つの信号基準を基準的メタ尺度として用いて比較する。 我々のフレームワークは、新しいシナリオにおける評価設定の選択のレシピとして役立ちます。
• 参考スコア（独自算出の注目度）: 11.680332953297638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation of large language models (LLMs) remains largely pre-scientific: it involves many design decisions, with little guidance on how to make them. These choices can substantially affect measured performance and, consequently, decisions about subsequent pretraining. To identify effective evaluation setups, we investigate 8 aspects, such as task formulation or the number of in-context examples. We compare the setups using three widely-used signal criteria, repurposed as normative meta-measures: monotonicity, non-randomness, and ranking consistency of the evaluation scores across intermediate checkpoints. In an early pretraining scenario, we evaluate these setups on 26 monolingual 2B-parameter models trained on different types of data, using 80 tasks in four languages. We also examine the setups on three larger LLMs ($\geq$7B) in the same four languages and explore how the preferred setups change with model scale. Our results yield concrete recommendations: some choices, such as the use of multiple prompts, are consistently useful, whereas others, such as task formulation, depend on model scale. More generally, our framework serves as a recipe for the choice of evaluation setups in new scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の評価は、多くの設計上の決定を伴い、その作り方に関するガイダンスはほとんどない。 これらの選択は、測定されたパフォーマンスに大きく影響し、その結果、その後の事前訓練に関する決定に影響を及ぼす。 そこで本研究では,タスクの定式化やコンテキスト内サンプル数などの8つの側面について検討する。 提案手法は, モノトニック性, 非ランダム性, 中間チェックポイント間の評価スコアのランキング整合性という, 規範的メタ尺度として再利用された3つの広義の信号基準を用いて, セットアップを比較した。 早期事前学習シナリオでは、4つの言語で80のタスクを使用して、異なるタイプのデータに基づいて訓練された26の単言語2Bパラメータモデル上でこれらの設定を評価する。 また、同じ4言語で3つの大きなLSM($\geq$7B)のセットアップを調べ、モデルスケールで望ましいセットアップがどのように変化するかを調べます。 複数のプロンプトの使用などいくつかの選択肢は一貫して有用である一方、タスクの定式化など他の選択肢はモデルスケールに依存している。 より一般的に、我々のフレームワークは、新しいシナリオにおける評価設定の選択のレシピとして役立ちます。

関連論文リスト

• A Third Paradigm for LLM Evaluation: Dialogue Game-Based Evaluation using clembench [18.149327897427234]
  2023年から継続的開発が続けられているClembenchについて紹介する。 我々は、それが自身のモデル(英語で提供されるベンチマークゲームインスタンスのセットを使用して)のベンチマークにどのように使用できるかを説明する。
  論文  参考訳（メタデータ） (2025-07-11T11:16:01Z)
• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  OLMESは、再現可能な言語モデル評価のための文書化された、実用的な、オープンな標準である。 これは、複数の質問の非自然的な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。 OLMESには、既存の文献の結果によってガイドされた、よく考えられたドキュメント化されたレコメンデーションと、オープンな質問を解決する新しい実験が含まれている。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• UMSE: Unified Multi-scenario Summarization Evaluation [52.60867881867428]
  要約品質評価は、テキスト要約における非自明なタスクである。 統一多シナリオ要約評価モデル(UMSE)を提案する。 UMSEは3つの評価シナリオで使用できる能力に係わる最初の統合要約評価フレームワークである。
  論文  参考訳（メタデータ） (2023-05-26T12:54:44Z)
• Coverage-based Example Selection for In-Context Learning [27.215972147196805]
  BERTScore-Recall (BSR) がテスト入力の健全な側面をよりよく示すより良い例を選択していることを示す。 6つのタスクにまたがる15のデータセットと7つの LLM に対して、(1) BSR は、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2) 構成タスクでは、Set-BSR は、平均17ポイントまで独立したランキングを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T08:58:28Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)
• Selection of a representative sorting model in a preference disaggregation setting: a review of existing procedures, new proposals, and experimental comparison [4.447467536572626]
  複数の基準のソートという文脈における選好の不合理性について考察する。 間接選好に適合するソートモデルの多重性を考えると、1つの代表モデルを選択すると、異なる方法でソートを行うことができる。 本稿では,厳密な代入規則を実践する3つの新しい手順を提案する。
  論文  参考訳（メタデータ） (2022-08-30T02:01:35Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。