論文の概要: Hallucinations on the Board: Tool-Augmented Evaluation of LLM Chess Commentary
- arxiv url: http://arxiv.org/abs/2608.04240v1
- Date: Tue, 04 Aug 2026 21:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.644207
- Title: Hallucinations on the Board: Tool-Augmented Evaluation of LLM Chess Commentary
- Title（参考訳）: 掲示板の幻覚: LLMチェス解説のツールによる評価
- Abstract要約: ACT-Evalは、チェスの解説を原子的主張に分解する評価フレームワークである。
教育、トーナメント、クリティカルポジションにまたがる325組の位置移動ペアのベンチマークを公表する。
チェスの解説では、事実上の幻覚が広まっています。
- 参考スコア（独自算出の注目度）: 31.69092001844714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Superhuman game engines in domains like chess have made expert-level evaluations easily accessible, yet they communicate what is true without the natural-language explanations that make such expertise educationally useful to experts and non-experts alike. Large language models could, in principle, bridge this gap, but they frequently hallucinate due to limited domain-specific knowledge, and standard reference-based or LLM-as-a-judge frameworks cannot reliably detect these errors. In this work, we present ACT-Eval, an evaluation framework that decomposes chess commentary into atomic claims and routes them to engine-supported tools and expert-annotated gold references to assess factual correctness, conceptual coverage, and move-quality judgment. We release a benchmark of 325 position--move pairs spanning pedagogical, tournament, and critical positions, including 125 positions with expert-verified gold atoms and a five-class error taxonomy. Evaluating leading proprietary and open-weight models, we find that factual hallucinations remain pervasive in chess commentary: GPT-5.4 without tools produces incorrect sub-claims 22.0% of the time, while smaller open-weight models exceed 40%. Although tool augmentation substantially improves factual correctness and move-quality assessment, coverage of expert strategic and tactical ideas remains limited across all models. Human calibration shows that ACT-Eval's factual judgments fall within the observed range of inter-human agreement, while its coverage scores correlate strongly with human assessments of strategic completeness.
- Abstract（参考訳）: チェスのようなドメインのスーパーヒューマンゲームエンジンは、専門家レベルの評価を容易にアクセスできるようにするが、専門家や非専門家にとって教育的に有用な自然言語の説明なしでは真実を伝える。
大規模な言語モデルは原則として、このギャップを埋めることができるが、ドメイン固有の知識が限られているため、しばしば幻覚し、標準参照ベースまたはLSM-as-a-judgeフレームワークはこれらのエラーを確実に検出できない。
本研究では,チェスの解説をアトミックなクレームに分解する評価フレームワークであるACT-Evalについて,事実的正当性,概念的包括性,移動品質判断を評価するために,エンジン支援ツールや専門家によるゴールドレファレンスにルートする。
我々は、専門家が検証した金原子125個と5クラスの誤り分類を含む、教育、トーナメント、重要なポジションにまたがる325個の位置移動ペアのベンチマークを公表した。
GPT-5.4では、ツールのないGPT-5.4では、不正なサブステートが22.0%、小さなオープンウェイトモデルでは40%を超えています。
ツールの強化は事実の正しさと移動品質の評価を大幅に改善するが、専門家の戦略的および戦術的アイデアのカバレッジは、すべてのモデルに限られている。
人間のキャリブレーションは、ACT-Evalの事実判断が観察された人間間合意の範囲内にあることを示しているが、そのカバレッジスコアは人間の戦略的完全性評価と強く相関している。
関連論文リスト
- On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation [32.5154721488471]
LLM(Large Language Models)は、従来のベンチマークで高い性能を示す。
既存のフレームワークは、狭いドメインカバレッジ、ジェネラリストのタスクへの依存、あるいは自己評価バイアスに悩まされている。
XpertBench(英語版)は、真の専門分野にわたるLSMを評価するために開発された高忠実度ベンチマークである。
論文 参考訳（メタデータ） (2026-03-27T11:28:15Z) - ChessQA: Evaluating Large Language Models for Chess Understanding [10.480398008794436]
Chessは大規模言語モデル(LLM)の推論、モデリング、抽象化機能を評価するのに理想的なテストベッドを提供する。
5つのタスクカテゴリにわたるLLMチェス理解を評価するベンチマークであるChessQAを提案する。
5つのカテゴリにまたがって永続的な弱点を見つけ、結果とカテゴリ別エラー解析を提供する。
論文 参考訳（メタデータ） (2025-10-28T00:02:52Z) - Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。
より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
論文 参考訳（メタデータ） (2025-08-11T13:08:07Z) - Quantitative LLM Judges [60.773734899532336]
本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。
モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。
実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
論文 参考訳（メタデータ） (2025-06-03T14:44:23Z) - VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation [0.8087612190556891]
VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。
各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。
ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。
我々の結果は現在の状態を示している。
論文 参考訳（メタデータ） (2025-05-26T01:20:44Z) - Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。
本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。
その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
論文 参考訳（メタデータ） (2025-04-13T10:46:13Z) - Bridging the Gap between Expert and Language Models: Concept-guided Chess Commentary Generation and Evaluation [9.277840736103554]
我々は,言語による複雑な意思決定プロセスを説明する代表的タスクとして,チェスの解説に焦点をあてる。
概念誘導型Chess注釈生成法(CCC)を導入し,GPTに基づくChess注釈評価法(GCC-Eval)を用いて評価を行った。
論文 参考訳（メタデータ） (2024-10-28T07:59:34Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。
ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。
4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
論文 参考訳（メタデータ） (2024-05-02T17:59:35Z) - MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。
このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。
GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
論文 参考訳（メタデータ） (2023-12-28T15:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。