論文の概要: Language Models that Play Chess and Explain Their Moves
- arxiv url: http://arxiv.org/abs/2610.03695v1
- Date: Fri, 02 Oct 2026 17:54:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.553429
- Title: Language Models that Play Chess and Explain Their Moves
- Title(参考訳): チェスを弾き、その動きを説明する言語モデル
- Abstract要約: 典型的なグランドマスターのレベルでプレーしながら,その動きと計画を説明することができるチェス言語モデルであるQueenを紹介する。
このアーキテクチャは、クロスアテンションを通じて命令調整されたLMとサイレントエキスパートチェスエンコーダを統合する。
我々は、ベルマンアップデートの自然言語アナログを用いて、その説明を反復的に改善する。
- 参考スコア(独自算出の注目度): 20.932316450128976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern chess engines are silent experts: they play at a superhuman level, but do not offer explanations for their play. On the other hand, language models (LMs) can generate plausible-sounding explanations, but their weak playing strength limits the utility of their explanations. We introduce Queen, a 4B-parameter chess-language model that can explain its moves and plans while playing at the level of a typical Grandmaster. Our novel framework enables domain-specific reasoning through complementary components: an encoder-decoder architecture and an iterative distillation algorithm. This architecture integrates a silent expert chess encoder with an instruction-tuned LM through cross-attention, which we train via a question-answering curriculum to extract chess concepts from the encoder's representations. Building on this domain-adapted model, we iteratively improve its explanations with a natural-language analog of the Bellman update: the model analyzes the positions after its top candidate moves and consolidates them into an explanation of the current position, which is then distilled back into the model. Over seven iterations, our model gains over 900 Elo points (1782 to 2697), substantially surpassing all frontier models on both playing strength and puzzle accuracy, despite containing three orders of magnitude fewer parameters. Furthermore, LM-based evaluations show that our explanations are fluent and approach GPT-5.6-Sol (high) in coherence. The generality of our architecture and training procedure suggests a recipe for applying language models to domains where silent expert encoders are available, like games, robotics, and computer use.
- Abstract(参考訳): 現代のチェスエンジンはサイレントエキスパートであり、超人的なレベルでプレーするが、プレイの説明は提供しない。
一方、言語モデル(LM)は、可聴音による説明を生成できるが、その弱い演奏強度は、その説明の有用性を制限している。
典型的なグランドマスターのレベルでプレイしながら,その動きと計画を説明することができる4Bパラメータチェス言語モデルであるQueenを紹介する。
我々の新しいフレームワークは、エンコーダ・デコーダアーキテクチャと反復蒸留アルゴリズムという、補完的なコンポーネントによるドメイン固有の推論を可能にする。
本アーキテクチャでは,暗黙の専門家によるチェスのエンコーダと命令調整されたLMを相互注意により統合し,質問応答カリキュラムを用いて,エンコーダの表現からチェスの概念を抽出する。
このドメイン適応モデルに基づいて、我々はベルマン更新の自然言語アナログを用いて、その説明を反復的に改善する:モデルは、その上位候補が移動した後の位置を分析し、それらを現在の位置の説明に集約し、それからモデルに蒸留する。
7回以上にわたって、我々のモデルは900エロポイント(1782~2697)以上を獲得し、パラメータが桁違いに少ないにもかかわらず、演奏強度とパズルの精度の両方でフロンティアモデルを大幅に上回っている。
さらに, LMによる評価から, この説明は流動的であり, GPT-5.6-Sol (high) に近づいた。
アーキテクチャとトレーニング手順の汎用性は、サイレントエキスパートエンコーダが利用可能なドメイン(ゲーム、ロボティクス、コンピュータ利用など)に言語モデルを適用するためのレシピを示唆している。
関連論文リスト
- Chessformer: A Unified Architecture for Chess Modeling [8.811775497383227]
Chessは長年、人工知能の標準的なテストベッドとして機能してきたが、その中心となるタスクのモデリングアプローチは多様化してきた。
チェスのモデリングにおける3つの中心的な目標すべてについて、最先端の技術を進化させる統一アーキテクチャであるChessformerを紹介します。
論文 参考訳(メタデータ) (2026-05-18T20:27:01Z) - Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。
概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。
本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
論文 参考訳(メタデータ) (2024-12-11T23:36:20Z) - LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。
本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。
我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
論文 参考訳(メタデータ) (2024-12-11T18:59:33Z) - Mastering Board Games by External and Internal Planning with Language Models [30.782334791241556]
探索に基づくプランニングにより,大規模言語モデルによるゲームプレイ能力の大幅な向上が期待できることを示す。
外部探索では,モンテカルロ木探索のロールアウトと評価を外部ゲームエンジンに呼び出しずにガイドし,内部探索では,探索の線形化木と最終的な選択をインコンテキストで生成するように訓練する。
提案手法は,探索とドメイン知識を組み合わせることで,ボードゲームに特化せず,より汎用的な応用を示唆するものである。
論文 参考訳(メタデータ) (2024-12-02T18:56:51Z) - Explore the Reasoning Capability of LLMs in the Chess Testbed [45.12891789312405]
我々は,注釈付き戦略と戦術を統合することで,チェスにおける大規模言語モデルの推論能力を向上させることを提案する。
我々はLLaMA-3-8Bモデルを微調整し、より優れたチェスの動きを選択するタスクにおいて、最先端の商用言語モデルと比較する。
論文 参考訳(メタデータ) (2024-11-11T01:42:56Z) - Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。
我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。
その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
論文 参考訳(メタデータ) (2024-04-29T17:58:36Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
論文 参考訳(メタデータ) (2023-05-23T04:28:16Z) - Improving Chess Commentaries by Combining Language Models with Symbolic
Reasoning Engines [31.87260568733666]
本稿では, シンボリック推論エンジンと制御可能な言語モデルを組み合わせることで, チェスの解説を生成する方法について述べる。
我々は,従来の基準よりも人間の判断に好まれる注釈を生成することを実証するために実験を行った。
論文 参考訳(メタデータ) (2022-12-15T23:38:31Z) - Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
私たちはチェスのゲームのための言語モデリングのタスクを検討します。
自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。
トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
論文 参考訳(メタデータ) (2021-02-26T01:16:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。