論文の概要: Grounded Chess Reasoning in Language Models via Master Distillation

• arxiv url: http://arxiv.org/abs/2603.20510v1
• Date: Fri, 20 Mar 2026 21:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.944965
• Title: Grounded Chess Reasoning in Language Models via Master Distillation
• Title（参考訳）: マスター蒸留による言語モデルにおける接地チェス推論
• Authors: Zhenwei Tang, Qianfeng Wen, Seth Grief-Albert, Yahya Elgabra, Blair Yang, Honghua Dong, Ashton Anderson,
• Abstract要約: 言語モデルは、トレーニングデータが乏しく、システムは優れている専門分野において、基礎的な推論能力に欠けることが多い。 本稿では,エキスパートシステム推論を自然言語・チェーン・オブ・プリート・説明に蒸留するための一般的な枠組みを紹介する。 この手法を,言語モデルの性能が低下し続ける正準推論領域であるチェスで実証する。
• 参考スコア（独自算出の注目度）: 9.280187120219724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models often lack grounded reasoning capabilities in specialized domains where training data is scarce but bespoke systems excel. We introduce a general framework for distilling expert system reasoning into natural language chain-of-thought explanations, enabling compact models to acquire domain expertise and the ability to generate faithful, grounded explanations. Rather than distilling only final outputs, we capture the full reasoning process, transforming opaque expert computations into transparent, step-by-step explanations. We demonstrate this approach in chess, a canonical reasoning domain where language models continue to underperform. Our 4B parameter model, C1, advances from a near-zero baseline to 48.1% accuracy, outperforming all open-source models and most frontier proprietary systems. Notably, C1 surpasses its distillation teacher and generates solutions in two orders of magnitude fewer tokens than baselines. Unlike prior neural chess approaches that predict only best moves, C1 generates explainable solutions revealing strategic reasoning. Our pipeline combines supervised fine-tuning and reinforcement learning with theme-balanced data sampling for comprehensive tactical coverage. Master Distillation demonstrates how to inject expert-level knowledge into compact models for under-optimized domains, offering a recipe for unlocking RLVR where LLMs lack sufficient base capabilities.
• Abstract（参考訳）: 言語モデルは、トレーニングデータが乏しく、システムは優れている専門分野において、基礎的な推論能力に欠けることが多い。 本稿では,エキスパートシステム推論を自然言語・チェーン・オブ・プリート・説明に抽出する一般的な枠組みを導入し,コンパクトモデルによるドメインの専門知識の獲得と,忠実で基礎的な説明の獲得を可能にした。 最終的な出力のみを蒸留するのではなく、不透明な専門家計算を透明でステップバイステップの説明に変換する、完全な推論プロセスを取り込む。 この手法を,言語モデルの性能が低下し続ける正準推論領域であるチェスで実証する。 我々の4BパラメータモデルであるC1は、ほぼゼロのベースラインから48.1%の精度に進化し、すべてのオープンソースモデルと最上位のプロプライエタリシステムを上回っています。 特に、C1は蒸留の教師を超え、ベースラインよりも2桁少ないトークンで解を生成する。 最良動作のみを予測する従来の神経チェスアプローチとは異なり、C1は戦略的推論を示す説明可能なソリューションを生成する。 我々のパイプラインは、教師付き微調整と強化学習と、総合的な戦術的カバレッジのためのテーマバランスデータサンプリングを組み合わせる。 Master Distillationは、専門家レベルの知識を最適化されていないドメインのコンパクトモデルに注入する方法を示し、LLMに十分な基礎能力がないRLVRをアンロックするためのレシピを提供する。

関連論文リスト

• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• Large Language Model enabled Mathematical Modeling [2.132096006921049]
  本研究では,Large Language Models (LLMs) の自然言語理解とコード生成による定式化ギャップを埋める可能性について検討する。 DeepSeek-R1は、強化学習で訓練された費用効率で高性能なモデルである。 本手法は,基礎的評価,幻覚分類の発達,緩和戦略の適用を含む。
  論文  参考訳（メタデータ） (2025-10-22T17:41:42Z)
• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• ReasonBridge: Efficient Reasoning Transfer from Closed to Open-Source Language Models [1.125423117145132]
  本稿では、強力なクローズドソースからオープンソースモデルへの推論能力を効率的に伝達する手法であるReasonBridgeを紹介する。 我々は、難易度、多様性、品質を重視した、1,000の慎重にキュレートされた推論トレースしか持たない、カスタマイズされたデータセットReason1Kを開発した。 総合的な評価によると、ReasonBridgeはベンチマークタスクにおいて、オープンソースモデルの推論能力を最大23%改善する。
  論文  参考訳（メタデータ） (2025-06-28T12:22:55Z)
• I Have Covered All the Bases Here: Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders [8.1201445044499]
  LLMの推論の背後にある内部メカニズムは未解明のままである。 仮説をテストするためにスパースオートエンコーダを使用します。 私たちの研究は、LLMにおける推論の機械的理解に向けた第一歩を提供します。
  論文  参考訳（メタデータ） (2025-03-24T16:54:26Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。