論文の概要: LLM Olympiad: Why Model Evaluation Needs a Sealed Exam

• arxiv url: http://arxiv.org/abs/2603.23292v1
• Date: Tue, 24 Mar 2026 14:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.545694
• Title: LLM Olympiad: Why Model Evaluation Needs a Sealed Exam
• Title（参考訳）: LLM Olympiad:なぜモデル評価が必要なのか
• Abstract要約: 我々は、オリンピアド式評価イベントにおいて、評価まで問題が封じ込められ、提出が事前に凍結され、全てのエントリが標準化されたハーネスを介して実行されることを論じる。 スコアリング後、全タスクセットと評価コードをリリースし、結果を再生して監査することができる。
• 参考スコア（独自算出の注目度）: 19.58872436367658
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Benchmarks and leaderboards are how NLP most often communicates progress, but in the LLM era they are increasingly easy to misread. Scores can reflect benchmark-chasing, hidden evaluation choices, or accidental exposure to test content -- not just broad capability. Closed benchmarks delay some of these issues, but reduce transparency and make it harder for the community to learn from results. We argue for a complementary practice: an Olympiad-style evaluation event where problems are sealed until evaluation, submissions are frozen in advance, and all entries run through one standardized harness. After scoring, the full task set and evaluation code are released so results can be reproduced and audited. This design aims to make strong performance harder to ``manufacture'' and easier to trust.
• Abstract（参考訳）: ベンチマークとリーダーボードは、NLPがもっとも多く進歩を伝える方法であるが、LLM時代には、誤読がますます容易になっている。 スコアは、広く機能するだけでなく、ベンチマーク購入、隠れた評価選択、テストコンテンツへの偶然の露出を反映することができる。 クローズドベンチマークはこれらの問題のいくつかを遅らせるが、透明性を低下させ、コミュニティが結果から学ぶのを難しくする。 Olympiad形式の評価イベントでは、評価まで問題が封印され、提出が事前に凍結され、すべてのエントリが標準化されたハーネスを介して実行される。 スコアリング後、全タスクセットと評価コードをリリースし、結果を再生して監査することができる。 この設計は、強いパフォーマンスを‘製造’にしやすくし、信頼しやすくすることを目的としています。

関連論文リスト

• Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement [13.774572921429217]
  BINEVALは評価基準を原子二分問題に分解するフレームワークである。 タスクプロンプトが与えられたとき、メタプロンプトはきめ細かい評価質問を生成する。 LLMはそれぞれの出力に対して独立して答え、透過的な質問レベルのフィードバックをもたらす。
  論文  参考訳（メタデータ） (2026-06-25T16:14:50Z)
• LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
  LivingArenaは自動汚染耐性評価フレームワークである。 モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。 質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
  論文  参考訳（メタデータ） (2026-06-19T06:20:58Z)
• SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge? [26.684941358964704]
  SEALは飽和ベンチマークから遅延ランキング信号を抽出するための自己改善評価プロトコルである。 我々は、コード生成、数学的推論、知識集約型質問応答、ツール使用エージェントタスク完了を含む複数の飽和ベンチマーク上でSEALを評価する。
  論文  参考訳（メタデータ） (2026-05-28T15:46:54Z)
• How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
  大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。 本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
  論文  参考訳（メタデータ） (2025-07-25T12:39:03Z)
• What Has Been Lost with Synthetic Evaluation? [45.678729819785104]
  大規模言語モデル(LLM)は、データ生成にますます使われている。 オーバーテキストベンチマークを生成することにより, LLM が要求を満たすことができるかどうかを検討する。 我々は、LLMが人間によって認可されたものよりも難易度が低いことを示す。
  論文  参考訳（メタデータ） (2025-05-28T20:12:32Z)
• GAMEBoT: Transparent Assessment of LLM Reasoning in Games [54.49589494014147]
  GAMEBoTは、大規模言語モデルの厳格な評価のために設計されたゲームアリーナである。 我々は,8つのゲームにまたがる17の卓越したLSMをベンチマークし,様々な戦略能力とゲーム特性について検討した。 以上の結果から,LDMに詳細なCoTプロンプトが付与されている場合でも,GAMEBoTは大きな課題となることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T08:32:53Z)
• GAOKAO-Eval: Does high scores truly reflect strong capabilities in LLMs? [32.972545797220924]
  大規模言語モデル(LLM)は人為的なベンチマークを用いて一般的に評価される。 GAokaO-Evalは、ハイスコアが人間の手動能力を本当に反映していないことを明らかにした。
  論文  参考訳（メタデータ） (2024-12-13T11:38:10Z)
• Inference-Time Decontamination: Reusing Leaked Benchmarks for Large Language Model Evaluation [61.350306618479365]
  ベンチマークの漏洩は、大規模言語モデルの真のパフォーマンスの正確な評価を防ぐことができる。 この問題に対処するため,ITD(Inference-Time Decontamination)を提案する。 ITDは、GSM8Kで22.9%、MMLUで19.0%の膨張精度を低下させる。
  論文  参考訳（メタデータ） (2024-06-20T04:35:59Z)
• HelloFresh: LLM Evaluations on Streams of Real-World Human Editorial Actions across X Community Notes and Wikipedia edits [92.62157408704594]
  HelloFreshは、本質的に動機づけられた人間のラベルによって生成された実世界のデータの連続的なストリームに基づいている。 ウィキペディアページのX(元Twitter)コミュニティノートと編集の最近のイベントをカバーしている。 テストデータの汚染とベンチマークオーバーフィッティングのリスクを軽減します。
  論文  参考訳（メタデータ） (2024-06-05T16:25:57Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。