論文の概要: Local Updates, Global Learning (LUGL): Playing Games with non-incremental Learners

• arxiv url: http://arxiv.org/abs/2609.03660v1
• Date: Thu, 03 Sep 2026 10:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.025298
• Title: Local Updates, Global Learning (LUGL): Playing Games with non-incremental Learners
• Title（参考訳）: ローカルアップデート,グローバルラーニング(LUGL):非インクリメンタルラーニングゲーム
• Abstract要約: 本稿では,モデルフィッティングからデータ収集を分離するフレームワークLUGLを紹介し,GBTなどの非インクリメンタル学習者がRL設定で操作できるようにする。 我々は4つの標準的な完全情報ゲームと5つの不完全情報ゲームでアプローチを検証した。
• 参考スコア（独自算出の注目度）: 3.6206992522645236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dominance of Neural Networks (NNs) in RL is partially due to their incremental learning capability, which naturally suits the online, non-stationary nature of self-play training. However, gradient-boosted trees like LightGBM are widely recognised as the state of the art for tabular data in supervised learning, often outperforming NNs in accuracy and efficiency. Game states are inherently tabular---discrete actions, categorical card identities, structured board positions---which makes them an ideal candidate for tree-based methods. We introduce LUGL (Local Updates, Global Learning), a framework that decouples data collection from model fitting, enabling non-incremental learners such as GBTs to operate in RL settings where they would otherwise fail due to distributional shift. LUGL alternates between a local updates phase, where the agent plays self-play games and accumulates tabular updates (Q-values, V-values, policies, or regret values) in a finite table, and a global learning phase, where the table is used to train a function approximator that generalises to unseen states before the table is reset. We test our approach in four standard perfect-information games (Tic-tac-toe, Connect-4, Othello, and Hex) and five imperfect-information games (Kuhn's poker, Leduc Hold'em, Liar's Dice, Goofspiel, and Flop5 Hold'em), and show that our results are competitive with or superior to DQN and DeepCFR. Our experiments demonstrate that the community's strong bias towards NNs in game-playing may be unwarranted, since LightGBM-based agents achieve competitive or superior performance across all tested benchmarks.
• Abstract（参考訳）: RLにおけるニューラルネットワーク(NN)の優位性の一部は、オンラインの非定常的なセルフプレイトレーニングに自然に適合するインクリメンタルな学習能力にある。 しかし、LightGBMのような勾配木は、教師あり学習における表形式のデータの最先端として広く認識されており、NNの精度と効率を上回ります。 ゲーム状態は本質的にタブ状であり、離散的なアクション、カテゴリカードのアイデンティティ、構造化されたボードの位置であり、ツリーベースの手法の理想的な候補である。 LUGL(Local Updates, Global Learning)は,モデルフィッティングからデータ収集を分離するフレームワークで,GBTのような非インクリメンタル学習者がRL設定で動作できるようにする。 LUGLは、エージェントがセルフプレイゲームをプレイし、有限テーブルに表の更新(Q値、V値、ポリシー、後悔値)を蓄積するローカル更新フェーズと、テーブルをテーブルがリセットされる前に目に見えない状態に一般化する関数近似器を訓練するグローバル学習フェーズとを交互に使用する。 我々は4つの標準的な完全情報ゲーム(Tic-tac-toe, Connect-4, Othello, Hex)と5つの不完全情報ゲーム(Kuhn's poker, Leduc Hold'em, Liar's Dice, Goofspiel, Flop5 Hold'em)でアプローチを検証し、DQNやDeepCFRと競合するか勝っていることを示す。 我々の実験は、ゲームプレイングにおけるNNに対するコミュニティの強いバイアスは、LightGBMベースのエージェントがテストされたすべてのベンチマークで、競争力や優れたパフォーマンスを達成するため、保証されていない可能性があることを示している。

関連論文リスト

• Emergent World Beliefs: Exploring Transformers in Stochastic Games [2.497936211748472]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な分野にまたがる強力な推論能力を示している。 我々は、ポーカーハンドヒストリーデータにGPTスタイルのモデルを事前学習し、その内部アクティベーションを探索する。 本結果は,手の位置などの決定論的構造と,エクイティなどの特徴の両方を,明示的な指示なしに学習できることを実証する。
  論文  参考訳（メタデータ） (2025-12-18T19:36:53Z)
• Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks [1.3980986259786223]
  本稿では,FBNN(Fully-Binarized NN)におけるクラスインクリメンタル学習の実現に向けて,さらに一歩進める。 我々は、CILに適したFBNN設計とその訓練手順を再検討する。 第3に、転送可能な表現のためのFBNNの特徴抽出器を事前訓練する半教師付き手法を提案する。
  論文  参考訳（メタデータ） (2025-03-10T09:31:32Z)
• Accelerate Multi-Agent Reinforcement Learning in Zero-Sum Games with Subgame Curriculum Learning [65.36326734799587]
  ゼロサムゲームのための新しいサブゲームカリキュラム学習フレームワークを提案する。 エージェントを以前に訪れた状態にリセットすることで、適応的な初期状態分布を採用する。 我々は,2乗距離をNE値に近似するサブゲーム選択指標を導出する。
  論文  参考訳（メタデータ） (2023-10-07T13:09:37Z)
• Scaling Laws for Imitation Learning in Single-Agent Games [28.257046559127875]
  我々は,モデルとデータサイズを慎重にスケールアップすることで,シングルエージェントゲームにおける模倣学習環境に類似した改善がもたらされるかどうかを検討する。 われわれはまずAtariのさまざまなゲームについて実験を行い、その後NetHackの非常に挑戦的なゲームに焦点を当てた。 IL損失と平均戻り値は計算予算とスムーズに一致し,相関関係が強く,計算最適ILエージェントの訓練には電力法則が適用されることがわかった。
  論文  参考訳（メタデータ） (2023-07-18T16:43:03Z)
• SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
  我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。 実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。 我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T18:14:35Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Offline Q-Learning on Diverse Multi-Task Data Both Scales And Generalizes [100.69714600180895]
  オフラインのQ-ラーニングアルゴリズムは、モデルキャパシティでスケールする強力なパフォーマンスを示す。 最大8000万のパラメータネットワークを用いて,40のゲームに対してほぼ人間に近いパフォーマンスで1つのポリシーをトレーニングする。 リターン条件付き教師付きアプローチと比較して、オフラインQラーニングはモデルキャパシティと同様にスケールし、特にデータセットが最適以下である場合にはパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2022-11-28T08:56:42Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• FL Games: A federated learning framework for distribution shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
  論文  参考訳（メタデータ） (2022-05-23T07:51:45Z)
• Credit Assignment Through Broadcasting a Global Error Vector [4.683806391173103]
  バックプロパゲーション(BP)は、ディープニューラルネットワーク(DNN)をトレーニングするために、詳細なユニット固有のフィードバックを使用する。 そこで本研究では,局所的な重み更新と合わせて,グローバルな放送学習信号がDNNのトレーニングを可能にする範囲について検討する。
  論文  参考訳（メタデータ） (2021-06-08T04:08:46Z)
• Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
  Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。 テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。 本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T03:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。