論文の概要: Teaching AI Agent to Play Poker Strategically Through Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.27028v1
• Date: Mon, 19 Oct 2026 15:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.434507
• Title: Teaching AI Agent to Play Poker Strategically Through Preference Optimization
• Title（参考訳）: 選好最適化を通じてポーカーを戦略的に演奏するAIエージェント
• Abstract要約: 我々は,コンパクトなAIエージェントが隠れ情報の下で戦略的行動を示すことができるかどうかを問う。 我々は KL-anchored Equilibrium (SPOKE) を用いた戦略的選好最適化を提案する。 SPOKE は Kuhn (0.213) と Leduc (1.081) で最低平均攻撃性を実現し、最高 6 max トップ-1 合意 (0.775) を達成する。 これらの結果から,戦略的選好最適化は教師の一貫性を保ちつつ,戦略的品質を向上させることができるという予備的証拠が得られた。
• 参考スコア（独自算出の注目度）: 0.11666234644810893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A poker agent can make a legal move and still make a strategically poor one. We ask whether compact AI agents can exhibit strategic behavior under hidden information and whether preference optimization can improve beyond static and zero-shot policies. We first evaluate a static baseline and three frozen language models: SmallThinker, Qwen3, and Gemma-3 whose performance varies substantially between exact-game and six-player evaluation. We therefore propose Strategic Preference Optimization with KL-anchored Equilibrium (SPOKE), combining teacher-relative value penalties, policy anchoring, risk constraints, and structured rationale supervision, and compare it with SFT, DPO, GRPO, and GSPO. Across three runs of a SmallThinker-4B-A0.6B policy, SPOKE achieves the lowest mean exploitability in Kuhn (0.213) and Leduc (1.081) and the highest six-max top-1 agreement (0.775), while maintaining teacher KL comparable to SFT (0.522 vs 0.523). These results provide preliminary evidence that strategic preference optimization can improve strategic quality while preserving teacher-consistent behavior.
• Abstract（参考訳）: ポーカーエージェントは法的行動を起こすことができ、それでも戦略的に貧弱なものを作ることができる。 我々は,コンパクトなAIエージェントが隠れ情報の下で戦略的行動を示すことができるのか,静的およびゼロショットポリシを超えて,好みの最適化が改善できるのかを問う。 まず静的ベースラインと3つのフリーズ言語モデル(SmallThinker, Qwen3, Gemma-3)を評価する。 そこで我々は,KL-anchored Equilibrium (SPOKE) を用いた戦略的選好最適化を提案し,教師相対価値のペナルティ,政策アンカー,リスク制約,構造的合理性管理を組み合わせ,SFT,DPO,GRPO,GSPOと比較した。 SmallThinker-4B-A0.6B ポリシーの3つの実行中、SPOKE は Kuhn (0.213) と Leduc (1.081) で最低平均悪用率を達成し、SFT (0.522 vs 0.523) に匹敵する教師 KL を維持しながら、最高6マックストップ-1 契約 (0.775) を達成している。 これらの結果から,戦略的選好最適化は教師の一貫性を保ちつつ,戦略的品質を向上させることができるという予備的証拠が得られた。

関連論文リスト

• Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
  Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。 3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。 Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
  論文  参考訳（メタデータ） (2026-10-16T01:07:52Z)
• Constrained Command-Conditioned Reinforcement Learning with Bandit Strategy Selection in Real-Time Strategy Games [0.0]
  実時間戦略環境であるMicroRTSに対して,制約付き命令条件付きPPO(Proximal Policy Optimization)ポリシー(executor)を導入する。 トンプソン・サンプリングのバンディットはストラテジストとして機能し、ゲーム内観測から構築された相手の戦略の見積もりからコマンドを選択する。 同じアーキテクチャ、予算、カリキュラム、セルフプレイリーグでトレーニングされたフラットなPPOベースラインと比較して、ストラテジスト・エグゼキュータシステムは、トレーニングマップ上の4つの最強の相手のうち3つに対して、はるかに頻繁に勝利する。
  論文  参考訳（メタデータ） (2026-10-08T10:37:33Z)
• LLM-Guided Reinforcement Learning for Adaptive NPC Behavior in Multi-Agent Combat Games [0.0]
  大規模言語モデル(LLM)が基礎となる動作を変更することなく、訓練されたRLポリシーをガイドする実行時戦略選択フレームワークについて検討する。 我々は,600話にまたがる3つのスクリプト型に対して,どちらの構成も評価し,Mann-Whitney U テストを用いて結果を分析した。
  論文  参考訳（メタデータ） (2026-08-27T07:17:58Z)
• ADPO: Anchored Direct Preference Optimization [0.0]
  本稿では、選好学習をソフトリスト管理に拡張するフレームワークであるAnchored Direct Preference Optimization (ADPO)を紹介する。 動的アンカーはノイズ下でのオンライン探索を改善する一方、固定アンカーはオフライン蒸留時に優れる。
  論文  参考訳（メタデータ） (2025-10-21T05:53:13Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Adversarial Preference Learning for Robust LLM Alignment [24.217309343426297]
  逆選択学習(英: Adversarial Preference Learning, APL)は、3つの重要な革新を取り入れた反復的逆選択学習法である。 第一に、モデル固有の嗜好確率に基づく直接的な有害度指標。 第二に、入力固有の逆数変化を合成する条件生成攻撃者。
  論文  参考訳（メタデータ） (2025-05-30T09:02:07Z)
• Preference-based opponent shaping in differentiable games [3.373994463906893]
  そこで我々は,エージェントの嗜好を協調に向けて形作ることによって,戦略学習プロセスを強化するためのPBOS法を提案する。 様々な異なるゲームにおいてPBOSアルゴリズムの性能を検証する。
  論文  参考訳（メタデータ） (2024-12-04T06:49:21Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。