論文の概要: Benchmarking Prompt Optimization of Large Language Models With Chess

• arxiv url: http://arxiv.org/abs/2610.00416v1
• Date: Wed, 30 Sep 2026 14:25:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.650337
• Title: Benchmarking Prompt Optimization of Large Language Models With Chess
• Title（参考訳）: チェスを用いた大規模言語モデルのベンチマークプロンプト最適化
• Abstract要約: 我々は,フリーズ言語モデルのための自動プロンプト最適化(APO)を研究するために,1,118個のLichsパズルから構築されたチェスベンチマークを導入する。 チェスは正確なマッチスコア、エンジンによる代替手段の評価、調整可能な困難を伴う問題の再生可能供給を組み合わせた。 8つの対象モデルに対する6つのAPOアルゴリズムの評価に使用し、ベースライン強度だけでなく、各モデルが最適化にどれだけ反応するかを測定した。
• 参考スコア（独自算出の注目度）: 40.663474669105064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models becomes increasingly challenging as their capabilities advance: benchmarks can saturate, public test sets risk contamination, and assessing harder tasks can require expensive grading or execution infrastructure. These challenges are amplified in automatic prompt optimization (APO), where evaluation is repeated throughout the search for better prompts. Studying APO therefore requires a benchmark that is cheap and deterministic to score, hard enough to leave room for improvement, and renewable as models evolve. We introduce a chess benchmark built from 1,118 Lichess puzzles to study APO for frozen LLMs: we optimize their prompts without updating their model weights. Chess combines inexpensive exact-match scoring, engine-based evaluation of alternative moves, and a renewable supply of problems with adjustable difficulty. Unlike evaluations that report only success on isolated test items, the benchmark also connects puzzle-solving gains to short game-play rollouts within the same domain. We use it to evaluate six APO algorithms on eight target models, measuring not only baseline strength but also how much each model responds to optimization and whether optimized prompts transfer across models and to game play. Chess is thus a well-suited benchmark for APO: it is (i) challenging, as even the strongest evaluated model, Gemini 3.5 Flash (used as the meta-model), solves only about 55\% of puzzles; (ii) discriminative, revealing gains, unchanged performance, and regressions across methods and models; (iii) renewable, with fresh puzzles to reduce contamination risk and adjustable difficulty to maintain headroom as models improve; and (iv) affordable, as the complete study runs for around \$800. We release the puzzles, optimization and evaluation code, and dataset-renewal scripts (https://github.com/imec-ailabs/Automatic-Prompt-Optimization-with-Chess).
• Abstract（参考訳）: ベンチマークは飽和し、パブリックテストはリスク汚染を設定し、難しいタスクを評価するには高価なグレードや実行インフラが必要になる。 これらの課題は自動プロンプト最適化(APO)において増幅され、より優れたプロンプトを求める探索を通して評価が繰り返される。 そのため、APOの研究には、スコアが安価で決定論的で、改善の余地を残せるほど難しく、モデルが進化するにつれて再生可能なベンチマークが必要である。 我々は,1,118個のLichessパズルを用いて,凍結LLMのためのAPOを学習するチェスベンチマークを導入する。 チェスは、安価な正確なマッチスコアリング、エンジンによる代替手段の評価、調整可能な困難を伴う問題の再生可能供給を組み合わせている。 独立したテスト項目でのみ成功したと報告する評価とは異なり、このベンチマークはパズル解決のゲインを、同じドメイン内の短いゲームプレイロールアウトに結びつける。 8つのターゲットモデル上での6つのAPOアルゴリズムの評価に利用し、ベースライン強度だけでなく、各モデルが最適化にどの程度反応するか、モデル間やゲームプレイ間での転送を最適化するかどうかを計測する。 したがって、ChessはAPOの好適なベンチマークである。 (i)最強の評価モデルであるGemini 3.5 Flash(メタモデルとして使用される)でさえ、パズルの約55%しか解けていない。 (二)差別的、明らかな利得、パフォーマンスの変化、メソッド及びモデル間の回帰 三 再生可能で、新奇なパズルにより、汚染リスクを低減し、モデルが改善するにつれて、ヘッドルームを維持するのに調整し難いこと。 (4) 完全な研究は800ドル前後で実施されるため、手頃な価格である。 パズル、最適化、評価コード、データセット更新スクリプト(https://github.com/imec-ailabs/Automatic-Prompt-Optimization-with-Chess)をリリースする。

関連論文リスト

• LLM-Guided Evolutionary Search for Constraint Model Reformulation to Improve Solver Efficiency [5.774119507201688]
  大きな言語モデル(LLM)は、自然言語から正しいモデルを生成することができるが、正しいモデルでさえ解決するのにコストがかかる。 我々は,LLMがユーザ定義ベースラインモデルに対して検証およびベンチマークを行う候補修正を提案する進化的フレームワークを用いる。 既存の保持戦略は、正確さやパフォーマンスを優先するが、コンテキストを明示的に多様化するものではない。 検証に基づく最終モデル選択を用いて,8つのCSPLib問題の戦略を体系的に評価した。
  論文  参考訳（メタデータ） (2026-07-30T14:21:55Z)
• Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation [0.2864713389096699]
  本稿では,動的適応戦略による推論による問題複雑性に着目したフレームワークであるAdaptive Multi-Expert Reasoning (AMR)について述べる。 問題テキストに焦点を当てたアジャイルルーティングシステムは、問題の難しさと不確実性を予測し、再構成可能なサンプリングメカニズムを誘導し、生成の幅を管理する。 GSM8Kデータセットで評価すると、AMRはオリジナルのトレーニングデータのみを使用しながら75.28%の精度を達成した。
  論文  参考訳（メタデータ） (2026-04-11T19:44:57Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• TurnBench-MS: A Benchmark for Evaluating Multi-Turn, Multi-Step Reasoning in Large Language Models [5.6525926183880255]
  本論文では,対話型コードブレークタスクによるマルチターン・マルチステップ推論を評価する新しいベンチマークであるTurnBenchを紹介する。 各エピソードにおいて、モデルはシーケンシャルな推測を行い、構造化されたフィードバックを受け取り、複数のラウンドで手がかりを統合することによって、隠れた論理的または算術的なルールを明らかにする必要がある。 TurnBenchには、標準推論をテストするClassicと、複雑さを増し堅牢な推論チェーンを必要とするNightmareの2つのモードがある。
  論文  参考訳（メタデータ） (2025-06-02T05:47:50Z)
• FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
  FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。 状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。 状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:23:25Z)
• AutoLogi: Automated Generation of Logic Puzzles for Evaluating Reasoning Abilities of Large Language Models [86.83875864328984]
  本稿では,オープンエンド論理パズルを自動合成する手法を提案し,それをバイリンガルベンチマークであるAutoLogiの開発に利用する。 提案手法は,プログラムベースの検証と制御可能な難易度を特徴とし,モデルの推論能力をよりよく区別する信頼性の高い評価を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T07:02:31Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Evaluating Language Model Agency through Negotiations [39.87262815823634]
  ネゴシエーションゲームにより、マルチターン、クロスモデル相互作用、複雑性の変調、およびサイドステップの偶発的データ漏洩を研究できる。 提案手法は,広く使用されている6つのLMをテストし,セルフプレイとクロスプレイの両方で性能とアライメントを評価する。
  論文  参考訳（メタデータ） (2024-01-09T13:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。