論文の概要: LLM CHESS: Benchmarking Reasoning and Instruction-Following in LLMs through Chess

• arxiv url: http://arxiv.org/abs/2512.01992v1
• Date: Mon, 01 Dec 2025 18:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:35.029543
• Title: LLM CHESS: Benchmarking Reasoning and Instruction-Following in LLMs through Chess
• Title（参考訳）: LLM CHESS: LLMにおけるベンチマーク推論とインストラクションフォロー
• Authors: Sai Kolasani, Maxim Saplin, Nicholas Crispino, Kyle Montgomery, Jared Quincy Davis, Matei Zaharia, Chi Wang, Chenguang Wang,
• Abstract要約: LLM CHESSは,大規模言語モデル(LLM)における推論と命令追従能力の一般化を調査するための評価フレームワークである。 我々は,移動品質,移動法則,幻覚行動,ゲーム持続時間などの行動指標を用いて,ランダムな相手と対戦することで,50以上のオープンかつクローズドなソースモデルをランク付けする。 トップ推論モデルのサブセットとして,可変構成のスキルを持つチェスエンジンと対戦して,Elo推定を導出する。
• 参考スコア（独自算出の注目度）: 30.797553771114746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce LLM CHESS, an evaluation framework designed to probe the generalization of reasoning and instruction-following abilities in large language models (LLMs) through extended agentic interaction in the domain of chess. We rank over 50 open and closed source models by playing against a random opponent using a range of behavioral metrics, including win and loss rates, move quality, move legality, hallucinated actions, and game duration. For a subset of top reasoning models, we derive an Elo estimate by playing against a chess engine with variably configured skill, which allows for comparisons between models in an easily understandable way. Despite the simplicity of the instruction-following task and the weakness of the opponent, many state-of-the-art models struggle to complete games or achieve consistent wins. Similar to other benchmarks on complex reasoning tasks, our experiments reveal a clear separation between reasoning and non-reasoning models. However, unlike existing static benchmarks, the stochastic and dynamic nature of LLM CHESS uniquely reduces overfitting and memorization while preventing benchmark saturation, proving difficult even for top reasoning models. To support future work on evaluating reasoning and instruction-following in LLMs, we release our experimental framework, a public leaderboard, and a dataset of associated games.
• Abstract（参考訳）: LLM CHESSは,大規模言語モデル(LLM)における推論と命令追従能力の一般化を,チェス領域におけるエージェント間相互作用を拡張して検討するための評価フレームワークである。 我々は,勝利率,損失率,品質の移動,合法性の移動,幻覚的行動,ゲーム期間など,さまざまな行動指標を用いて,ランダムな相手と対戦することによって,50以上のオープンかつクローズドなソースモデルをランク付けする。 トップ推論モデルのサブセットとして,可変構成のスキルを持つチェスエンジンと対戦して,Elo推定を導出する。 命令追従タスクの単純さと相手の弱点にもかかわらず、多くの最先端モデルはゲームを完成させたり、一貫した勝利を達成するのに苦労する。 複雑な推論タスクに関する他のベンチマークと同様に、我々の実験は推論モデルと非推論モデルとの明確な分離を明らかにした。 しかし、既存の静的ベンチマークとは異なり、LLM CHESSの確率的・動的性質はベンチマーク飽和を防ぎながら過度な適合と記憶をユニークに減らし、最上位の推論モデルでも難しいことを証明している。 LLMにおける推論と命令追従の今後の研究を支援するため、実験フレームワーク、公開リーダーボード、関連するゲームのデータセットをリリースする。

関連論文リスト

• Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models [57.33350664910483]
  資源制約と非対称な情報設定を備えた動的・対角的評価環境であるSquid Gameを紹介する。 我々は,Squid Game 上で50以上の LLM を評価し,動的対向シナリオにおける一般 LLM の行動評価研究を最大規模で行った。
  論文  参考訳（メタデータ） (2025-11-12T06:06:29Z)
• Who is a Better Player: LLM against LLM [53.46608216197315]
  本稿では,大規模言語モデル (LLM) の総合的な性能を評価するための対戦型ベンチマークフレームワークを提案する。 広範にプレイされている5つのゲームをサポートし,20のLDMを駆使したプレーヤーを対象とする,特別な評価プラットフォームであるQi Townを紹介した。
  論文  参考訳（メタデータ） (2025-08-05T06:41:47Z)
• GAMEBoT: Transparent Assessment of LLM Reasoning in Games [54.49589494014147]
  GAMEBoTは、大規模言語モデルの厳格な評価のために設計されたゲームアリーナである。 我々は,8つのゲームにまたがる17の卓越したLSMをベンチマークし,様々な戦略能力とゲーム特性について検討した。 以上の結果から,LDMに詳細なCoTプロンプトが付与されている場合でも,GAMEBoTは大きな課題となることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T08:32:53Z)
• TMGBench: A Systematic Game Benchmark for Evaluating Strategic Reasoning Abilities of LLMs [45.12542636218608]
  ゲームタイプの包括的カバレッジ,多様なシナリオ,フレキシブルなゲーム組織を特徴とするTMGBenchを提案する。 具体的には、ベンチマークで古典ゲームとして構築された2x2ゲームのロビンソン・ゴーフォーストポロジーによって要約された144種類のゲームタイプをすべて組み込む。 より強力なLSMに適応可能な持続可能な評価フレームワークを提供するため、上記のゲームを原子単位として扱う。
  論文  参考訳（メタデータ） (2024-10-14T13:15:34Z)
• LogicGame: Benchmarking Rule-Based Reasoning Abilities of Large Language Models [87.49676980090555]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示し、複雑な問題解決能力を示している。 LLMの包括的なルール理解、実行、計画能力を評価するために設計された新しいベンチマークであるLogicGameを紹介する。
  論文  参考訳（メタデータ） (2024-08-28T13:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。