論文の概要: Do Chess Explanations Reflect Model Decisions? Behavioral and Token-Level Tests of LLM Reasoning Faithfulness

• arxiv url: http://arxiv.org/abs/2609.22245v1
• Date: Sat, 05 Sep 2026 11:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.802649
• Title: Do Chess Explanations Reflect Model Decisions? Behavioral and Token-Level Tests of LLM Reasoning Faithfulness
• Title（参考訳）: チェス説明はモデル決定を反映するか?- LLM の行動レベルと token-Level テスト
• Abstract要約: 大型の言語モデルはチェスの動きの流動的な説明を生成することができるが、もっともらしい言語は決定の背後にある理由を反映していない。 我々は,この問題をチェスにおいて研究し,ボード状態が完全に観察可能であり,法的行動の列挙が可能であり,移動品質を独立して評価することができる。 200以上のリチェスパズルにおいて, 動作回復性, デコーダ側制御, および合法的動作のトークンレベルスコアリングによる説明を検証した。
• 参考スコア（独自算出の注目度）: 4.619541348328937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can produce fluent explanations for chess moves, but plausible language does not necessarily reflect the reasoning behind a decision. We study this question in chess, where the board state is fully observable, legal actions can be enumerated, and move quality can be evaluated independently. Across 200 Lichess endgame puzzles, we test explanations using move recoverability, decoder-side controls, and token-level scoring of legal candidate moves. Unmasked explanations make generated moves easy to recover, but this advantage drops sharply after explicit move hints are removed. Under strict masking, explanations provide only small and decoder-dependent gains over the board state alone. Token-level scoring shows that explanations can nevertheless alter move preferences: random but plausible explanations from other puzzles reduce the probability of the correct move, indicating that irrelevant reasoning text is not simply ignored. We also find that recognizable endgame motifs can make generated moves easier to recover without reliably improving move correctness. Together, these results show that linguistic plausibility, consistency with a generated action, and solution correctness are distinct properties. Fluent chess explanations can influence action preferences and support a coherent move narrative while providing only limited evidence of faithful reasoning.
• Abstract（参考訳）: 大型の言語モデルはチェスの動きの流動的な説明を生み出すことができるが、もっともらしい言語は決定の背後にある理由を必ずしも反映していない。 我々は,この問題をチェスにおいて研究し,ボード状態が完全に観察可能であり,法的行動の列挙が可能であり,移動品質を独立して評価することができる。 200以上のリチェスパズルにおいて, 動作回復性, デコーダ側制御, および合法的動作のトークンレベルスコアリングによる説明を検証した。 原因不明の説明は生成した動きを回復しやすくするが、明示的な動きヒントが削除された後、この利点は急激に低下する。 厳密なマスキングの下では、説明は小さめでデコーダに依存した利得のみを提供する。 トークンレベルのスコアリングは、しかしながら、説明が動きの好みを変えることができることを示している: 他のパズルからのランダムだがもっともらしい説明は、正しい動きの確率を減少させ、無関係な推論テキストが単に無視されるわけではないことを示す。 また、認識可能なエンドゲームモチーフは、動きの正しさを確実に改善することなく、生成した動きを回復しやすくする。 これらの結果は、言語的妥当性、生成された作用との整合性、解の正しさが異なる性質であることを示す。 頻繁なチェスの説明は行動の好みに影響を与え、一貫性のある動きの物語を支持しつつ、忠実な推論の限られた証拠を提供する。

関連論文リスト

• Generalization or Memorization? Brittleness Testing for Chess-Trained Language Models [0.0]
  KinGPTは、(配置、最良の)ペアのみに基づいて訓練された文字レベルの言語モデルである。 LLM-Modulo が RedPajama 3B の最良の移動精度を 1.2% から 21.2% に引き上げる方法を示す。
  論文  参考訳（メタデータ） (2026-05-17T17:49:07Z)
• Stratagem: Learning Transferable Reasoning via Trajectory-Modulated Game Self-Play [85.2683525068614]
  本稿では,ドメイン特異性とコンテキストスタシスの2つの基本的障壁に対処するSTRATAGEMを提案する。 数学的推論、一般的な推論、コード生成ベンチマークにわたる実験は、大幅な改善を示している。
  論文  参考訳（メタデータ） (2026-04-20T01:20:31Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• How Far Are LLMs from Professional Poker Players? Revisiting Game-Theoretic Reasoning with Agentic Tool Use [52.394999779049606]
  大規模言語モデル(LLMs)は、ハイテイクなドメインにますます適用されています。 LLMは従来のアルゴリズムと競合しない。 ツール統合推論フレームワークであるToolPokerを提案する。
  論文  参考訳（メタデータ） (2026-01-31T05:45:25Z)
• Out-of-distribution Tests Reveal Compositionality in Chess Transformers [6.356179251855671]
  我々は、270Mパラメータチェス変換器を訓練し、系統的な一般化の失敗を明らかにするために、配布外シナリオでそれをテストする。 分析の結果,トランスフォーマーは強い規則外挿法によって証明されるように,構成的一般化を示すことが示された。 より難しいテストでは、チェスの変種であるチェス960など、部品の開始位置がランダム化される変種について、モデルを評価する。
  論文  参考訳（メタデータ） (2025-10-23T17:51:28Z)
• ChessArena: A Chess Testbed for Evaluating Strategic Reasoning Capabilities of Large Language Models [11.234477661864736]
  本稿では,大規模言語モデル(LLM)の戦略的推論能力を評価するためのチェステストベッドであるChessArenaを提案する。 Chessには、長期計画、厳格なルール理解、マルチターン会話記憶など、複雑な戦略的推論機能が必要である。 素人レベルのチェスエンジンであるマイア1100に勝てるモデルはないが、任意に動きを選択するランダムプレイヤーに勝てないモデルもある。 我々の微調整されたQwen3-8Bは性能を大幅に改善し、最先端の推論モデルにアプローチしました。
  論文  参考訳（メタデータ） (2025-09-29T03:24:48Z)
• Improving Chess Commentaries by Combining Language Models with Symbolic Reasoning Engines [31.87260568733666]
  本稿では, シンボリック推論エンジンと制御可能な言語モデルを組み合わせることで, チェスの解説を生成する方法について述べる。 我々は,従来の基準よりも人間の判断に好まれる注釈を生成することを実証するために実験を行った。
  論文  参考訳（メタデータ） (2022-12-15T23:38:31Z)
• Zero-Shot Classification by Logical Reasoning on Natural Language Explanations [56.42922904777717]
  我々はCLOREフレームワークを提案する(説明の論理的推論による分類)。 CLOREは、説明を論理構造にパースし、入力のthess構造に沿って明示的に理由付け、分類スコアを生成する。 また、我々のフレームワークは視覚的モダリティのゼロショット分類にまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-07T01:05:11Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
  私たちはチェスのゲームのための言語モデリングのタスクを検討します。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
  論文  参考訳（メタデータ） (2021-02-26T01:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。