論文の概要: Finding the Move Is Not Winning the Game: XiangqiBench for Closed-Loop Evaluation of LLM Agents
- arxiv url: http://arxiv.org/abs/2610.02425v1
- Date: Thu, 01 Oct 2026 19:48:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 19:20:54.751648
- Title: Finding the Move Is Not Winning the Game: XiangqiBench for Closed-Loop Evaluation of LLM Agents
- Title（参考訳）: LLMエージェントのクローズドループ評価のためのXiangqiBench
- Abstract要約: 静的評価は、正しい動きを命名するために言語モデルを信用するが、エージェントは、相手が応答している間に、検証された結果まで計画を実行しなければならない。
中国のチェスにおけるこの違いを計測する実行可能なベンチマークであるXiangqiBenchを紹介する。
- 参考スコア（独自算出の注目度）: 27.951892673784812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Static evaluations credit a language model for naming the right move, but an agent must carry a plan through to a verified outcome while an opponent responds. We introduce XiangqiBench, an executable benchmark that measures this difference in Chinese chess: starting from 119 tactical endgames with forced mates supported by engine or checks-only search, an LLM agent must deliver checkmate against an engine defender. An interactive REPL interface separates real moves, state queries, and forward simulation, and we record 8,568 multi-turn trajectories from 12 frontier LLMs under two observation protocols. Three signals that look like competence each overstate closed-loop success. (i) The Conversion Gap: models play the stored reference first move in 26.1\% of Sighted trials, yet only 13.9\% of these trials end in a win. (ii) The Consistency Gap: the leading model reaches 38.7\% pass@3 but only 5.9\% pass^3, winning all three trials on 7 of the 46 positions it ever wins. (iii) The Simulation Gap: 32.3\% of accepted simulation calls stop on an illegal move, and in 49.3\% of comparable cases the real defender replies differently from the line the agent simulated; self-authored rollouts check legality but cannot anticipate the opponent. Finding the move is not winning the game: agent evaluations should score closed-loop outcomes and report reliability alongside coverage.
- Abstract（参考訳）: 静的評価は、正しい動きを命名するために言語モデルを信用するが、エージェントは、相手が応答している間に、検証された結果まで計画を実行しなければならない。
私たちはXiangqiBenchという,中国のチェスにおけるこの違いを測定する実行可能なベンチマークを紹介します。エンジンやチェックオンリーの検索でサポートされた強制メイトを持つ119の戦術的なエンドゲームから,LLMエージェントがエンジンディフェンダーに対してチェックメイトを配信しなければならないのです。
対話型REPLインタフェースは実動作,状態クエリ,前方シミュレーションを分離し,12個のフロンティアLCMから8,568個のマルチターン軌道を2つの観測プロトコルで記録する。
オーバステートのクローズドループの成功に匹敵する3つのシグナル。
(i)コンバージョンギャップ:26.1\%の目視試験において、最初に記憶された参照の動きを再生するが、これらの試験のうち13.9\%が勝利に終わる。
(ii) 一貫性ギャップ: 先頭モデルは38.7% パス@3に達するが、パス^3は5.9 % パス^3に留まり、46のポジションのうち3つのトライアルで勝利した。
三 シミュレーションギャップ 承認されたシミュレーションコールの32.3\%は、違法な動きを停止し、49.3\%の場合には、本物のディフェンダーは、エージェントがシミュレートしたラインと異なる反応をし、自己権限のロールアウトは、合法性をチェックするが、相手を予測できない。
エージェント評価はクローズドループの結果を記録し、カバレッジとともに信頼性を報告すべきである。
関連論文リスト
- Separation of Duties for Privileged LLM Agents: A Governed Execution Architecture with Measured Security-Utility Trade-offs [0.0]
エージェントとオペレーティングシステムの間に4つの役割(プランナー、政策ゲート、執行役、監査役)を介するアーキテクチャについて検討する。
我々は8種類の313ケースのベンチマークで評価した。
論文 参考訳（メタデータ） (2026-09-28T05:32:17Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Acquire, Repair, Preserve: A Diagnosis-Guided Post-Training Recipe for Small-Model Dialogue Game Agents [3.138087702016486]
対話型対話ゲームは静的ベンチマークが暗黙的に残す機能をテストする。
2Bオープンウェイトモデルを用いたLM Playschool Challengeにおいて,この設定について検討した。
多くの失敗は、広い知識の失敗だけでなく、ローカルな決定の失敗でもあることに気付きました。
論文 参考訳（メタデータ） (2026-08-28T15:47:47Z) - The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World [0.0]
LLMルータは、各要求を最も安価な適切なモデルに合わせることで効率を約束し、マルチステップエージェント内のステップごとに適用されるようになっている。
しかし、エージェントルータはシングルターンルータのように評価され、ログ付きトラジェクトリを再生し、他のモデルの出力を置換することで評価される。
我々は,SWE-benchエージェントを制御点にフォークし,環境を再構築し,各フォークを異なるモデルで継続し,サンプリングと再生を分離する同モデル制御フォークと比較する。
論文 参考訳（メタデータ） (2026-08-08T17:07:11Z) - Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。
我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。
Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
論文 参考訳（メタデータ） (2026-06-05T22:52:16Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - LLM Wardens: Mitigating Adversarial Persuasion with Third-Party Conversational Oversight [6.508925629329849]
隠れた目標を持つ敵のLSMは、ユーザの決定を65.4%に抑えることに成功している。
次に,人間とAIのインタラクショントレースをリアルタイムで監視し,ユーザに対して非拘束的かつプライベートなアドバイザリを発行する第2のLCMを導入する。
これらの結果のメカニズムを解明するため、14の意思決定シナリオにまたがるシミュレーションベンチマークであるCOAX-Benchをリリースする。
論文 参考訳（メタデータ） (2026-05-08T16:23:47Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。