論文の概要: Oracle-Guided Soft Shielding for Safe Move Prediction in Chess

• arxiv url: http://arxiv.org/abs/2603.08506v1
• Date: Mon, 09 Mar 2026 15:40:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.314377
• Title: Oracle-Guided Soft Shielding for Safe Move Prediction in Chess
• Title（参考訳）: 牛の安全な移動予測のためのOracle主導のソフトシールド
• Authors: Prajit T Rajendran, Fabio Arnez, Huascar Espinoza, Agnes Delaborde, Chokri Mraidha,
• Abstract要約: チェスのような環境に対する既存の強化学習アプローチでは、何十万ものエピソードとかなりの計算資源を集約する必要がある。 我々は、より安全な意思決定のためのシンプルで効果的なフレームワークであるOracle-Guided Soft Shielding (OGSS)を提案する。 以上の結果から,OGSSの変種は,エージェントの探索比が増大しても,低いブラダーレートを維持していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.731293010500297
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In high stakes environments, agents relying purely on imitation learning or reinforcement learning often struggle to avoid safety-critical errors during exploration. Existing reinforcement learning approaches for environments such as chess require hundreds of thousands of episodes and substantial computational resources to converge. Imitation learning, on the other hand, is more sample efficient but is brittle under distributional shift and lacks mechanisms for proactive risk avoidance. In this work, we propose Oracle-Guided Soft Shielding (OGSS), a simple yet effective framework for safer decision-making, enabling safe exploration by learning a probabilistic safety model from oracle feedback in an imitation learning setting. Focusing on the domain of chess, we train a model to predict strong moves based on past games, and separately learn a blunder prediction model from Stockfish evaluations to estimate the tactical risk of each move. During inference, the agent first generates a set of candidate moves and then uses the blunder model to determine high-risk options, and uses a utility function combining the predicted move likelihood from the policy model and the blunder probability to select actions that strike a balance between performance and safety. This enables the agent to explore and play competitively while significantly reducing the chance of tactical mistakes. Across hundreds of games against a strong chess engine, we compare our approach with other methods in the literature, such as action pruning, SafeDAgger, and uncertainty-based sampling. Our results demonstrate that OGSS variants maintain a lower blunder rate even as the agent's exploration ratio is increased by several folds, highlighting its ability to support broader exploration without compromising tactical soundness.
• Abstract（参考訳）: 高利害関係の環境では、エージェントは純粋に模倣学習や強化学習に依存しており、探索中に安全クリティカルなエラーを避けるのに苦労することが多い。 チェスのような環境に対する既存の強化学習アプローチでは、何十万ものエピソードとかなりの計算資源を集約する必要がある。 一方、模倣学習はよりサンプリング効率が高いが、分布シフト下では脆く、積極的なリスク回避のメカニズムが欠如している。 本研究は,Oracle-Guided Soft Shielding (OGSS) を提案する。Oracle-Guided Soft Shielding (OGSS) は,より安全な意思決定のためのシンプルで効果的なフレームワークであり,オラクルのフィードバックから確率論的安全性モデルを学ぶことで,模倣学習環境で安全な探索を可能にする。 チェスの領域に着目し,過去のゲームに基づいて強い動きを予測するモデルを訓練し,ストックフィッシュの評価からブルダー予測モデルを別々に学習し,それぞれの動きの戦術的リスクを推定する。 推論中、エージェントはまず一連の候補動きを生成し、次にブルンダーモデルを用いてハイリスクオプションを判定し、予測されたポリシーモデルとブルンダー確率を組み合わせたユーティリティ関数を使用して、パフォーマンスと安全性のバランスを崩すアクションを選択する。 これによりエージェントは、戦術ミスの可能性を著しく低減しつつ、競争的に探索し、プレーすることができる。 強力なチェスエンジンに対する数百のゲームにおいて,アクションプルーニング,セーフダガー,不確実性に基づくサンプリングなど,文献上の他の手法との比較を行った。 以上の結果から, OGSS 変種は, エージェントの探索比が数倍に増大しても, より広い探索を支援する能力が, 戦術的音質を損なうことなく維持できることが示唆された。

関連論文リスト

• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning [54.26807397329468]
  この研究は、分散ディープラーニングシステムにおいて、これまで見過ごされていた脆弱性を探究する。 中間的特徴をインターセプトする敵は、依然として深刻な脅威となる可能性がある。 本稿では,分散環境に特化して設計されたエクスプロイト戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-09T20:09:00Z)
• Risk-Averse Reinforcement Learning with Itakura-Saito Loss [63.620958078179356]
  リスク回避エージェントはリスクを最小限に抑えるポリシーを選択し、時には期待される価値を犠牲にする。 状態値と行動値の関数を学習するために,板倉-斎藤偏差に基づく数値的に安定かつ数学的に損失関数を導入する。 実験セクションでは、既知の解析解を含む複数のシナリオを探索し、その損失関数が代替よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:18:07Z)
• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• Automated Security Response through Online Learning with Adaptive Conjectures [13.33996350474556]
  我々はITインフラに対する自動セキュリティ対応について研究する。 我々は攻撃者とディフェンダーとの相互作用を部分的に観察された非静止ゲームとして定式化する。
  論文  参考訳（メタデータ） (2024-02-19T20:06:15Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training [20.1991376813843]
  我々は、HFAT(Hider-Focused Adversarial Training)と呼ばれる一般化した逆トレーニングアルゴリズムを提案する。 HFATは、標準的な対向訓練と予防隠蔽装置の最適化方向を組み合わせたものである。 提案手法の有効性を実験により検証した。
  論文  参考訳（メタデータ） (2023-12-12T08:41:18Z)
• Learning Risk-Averse Equilibria in Multi-Agent Systems [13.25454171233235]
  マルチエージェントシステムでは、知的エージェントは、他のエージェントのアクションが期待通りである場合に最適な結果をもたらす決定を行う。 本稿では,学習者が予期せぬ行動に適応できる新たなリスク回避ソリューションを提案する。 リスク-逆均衡を近似するエージェントの集団は、特に目に見えない反対の集団の存在に有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-30T21:20:30Z)
• On Assessing The Safety of Reinforcement Learning algorithms Using Formal Methods [6.2822673562306655]
  敵の訓練、敵の検知、堅牢な学習といった安全メカニズムは、エージェントが配備されるすべての障害に常に適応するとは限らない。 したがって,エージェントが直面する学習課題に適応した新しいソリューションを提案する必要がある。 我々は、対向的摂動に直面した際のエージェントのポリシーを改善するために、報酬形成とQ-ラーニングアルゴリズムを防御機構として使用する。
  論文  参考訳（メタデータ） (2021-11-08T23:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。