論文の概要: LLM Olympiad: Why Model Evaluation Needs a Sealed Exam

• arxiv url: http://arxiv.org/abs/2603.23292v1
• Date: Tue, 24 Mar 2026 14:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.545694
• Title: LLM Olympiad: Why Model Evaluation Needs a Sealed Exam
• Title（参考訳）: LLM Olympiad:なぜモデル評価が必要なのか
• Authors: Jan Christian Blaise Cruz, Alham Fikri Aji,
• Abstract要約: 我々は、オリンピアド式評価イベントにおいて、評価まで問題が封じ込められ、提出が事前に凍結され、全てのエントリが標準化されたハーネスを介して実行されることを論じる。 スコアリング後、全タスクセットと評価コードをリリースし、結果を再生して監査することができる。
• 参考スコア（独自算出の注目度）: 19.58872436367658
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Benchmarks and leaderboards are how NLP most often communicates progress, but in the LLM era they are increasingly easy to misread. Scores can reflect benchmark-chasing, hidden evaluation choices, or accidental exposure to test content -- not just broad capability. Closed benchmarks delay some of these issues, but reduce transparency and make it harder for the community to learn from results. We argue for a complementary practice: an Olympiad-style evaluation event where problems are sealed until evaluation, submissions are frozen in advance, and all entries run through one standardized harness. After scoring, the full task set and evaluation code are released so results can be reproduced and audited. This design aims to make strong performance harder to ``manufacture'' and easier to trust.
• Abstract（参考訳）: ベンチマークとリーダーボードは、NLPがもっとも多く進歩を伝える方法であるが、LLM時代には、誤読がますます容易になっている。 スコアは、広く機能するだけでなく、ベンチマーク購入、隠れた評価選択、テストコンテンツへの偶然の露出を反映することができる。 クローズドベンチマークはこれらの問題のいくつかを遅らせるが、透明性を低下させ、コミュニティが結果から学ぶのを難しくする。 Olympiad形式の評価イベントでは、評価まで問題が封印され、提出が事前に凍結され、すべてのエントリが標準化されたハーネスを介して実行される。 スコアリング後、全タスクセットと評価コードをリリースし、結果を再生して監査することができる。 この設計は、強いパフォーマンスを‘製造’にしやすくし、信頼しやすくすることを目的としています。

関連論文リスト

• How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
  大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。 本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
  論文  参考訳（メタデータ） (2025-07-25T12:39:03Z)
• What Has Been Lost with Synthetic Evaluation? [45.678729819785104]
  大規模言語モデル(LLM)は、データ生成にますます使われている。 オーバーテキストベンチマークを生成することにより, LLM が要求を満たすことができるかどうかを検討する。 我々は、LLMが人間によって認可されたものよりも難易度が低いことを示す。
  論文  参考訳（メタデータ） (2025-05-28T20:12:32Z)
• GAOKAO-Eval: Does high scores truly reflect strong capabilities in LLMs? [32.972545797220924]
  大規模言語モデル(LLM)は人為的なベンチマークを用いて一般的に評価される。 GAokaO-Evalは、ハイスコアが人間の手動能力を本当に反映していないことを明らかにした。
  論文  参考訳（メタデータ） (2024-12-13T11:38:10Z)
• Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
  ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。 この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
  論文  参考訳（メタデータ） (2024-06-20T04:35:59Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。