論文の概要: Mastering Chess with a Transformer Model
- arxiv url: http://arxiv.org/abs/2409.12272v1
- Date: Mon, 28 Oct 2024 03:16:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 15:38:21.195850
- Title: Mastering Chess with a Transformer Model
- Title(参考訳): 変圧器モデルによるチェスのマスタリング
- Authors: Daniel Monroe, The Leela Chess Zero Team,
- Abstract要約: 十分多目的な位置符号化を施したトランスフォーマーは,既存のチェス演奏モデルと計算コストのごく一部で一致させることができることを示す。
我々のアーキテクチャは、AlphaZeroを8倍のFLOPSで上回り、グランドマスターレベルのトランスフォーマーベースのエージェントを30倍のFLOPSで比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer models have demonstrated impressive capabilities when trained at scale, excelling at difficult cognitive tasks requiring complex reasoning and rational decision-making. In this paper, we explore the application of transformer models to chess, focusing on the critical role of the position encoding within the attention mechanism. We show that in chess, transformers endowed with a sufficiently versatile position encoding can match existing chess-playing models at a fraction of the computational cost. Our architecture significantly outperforms AlphaZero at 8x fewer FLOPS and matches prior grandmaster-level transformer-based agents at 30x fewer FLOPS.
- Abstract(参考訳): トランスフォーマーモデルは、スケールで訓練された時に印象的な能力を示し、複雑な推論と合理的な意思決定を必要とする難しい認知タスクに優れています。
本稿では,アテンション機構における位置符号化の重要な役割に着目し,トランスフォーマーモデルのチェスへの応用について検討する。
チェスでは、十分な多目的な位置符号化が与えられたトランスフォーマーが、既存のチェス演奏モデルと計算コストのごく一部で一致できることが示される。
我々のアーキテクチャは、AlphaZeroを8倍のFLOPSで上回り、グランドマスターレベルのトランスフォーマーベースのエージェントを30倍のFLOPSで比較した。
関連論文リスト
- Predicting Chess Puzzle Difficulty with Transformers [0.0]
GlickFormerは,Glicko-2レーティングシステムを用いて,チェスパズルの難易度を予測するトランスフォーマーアーキテクチャである。
提案モデルでは,空間的特徴抽出にChessFormerのバックボーンを改良し,分解変換技術を用いて時間情報を組み込んだ。
結果は、GlickFormerのパフォーマンスが、最先端のChessFormerベースラインと比較して、複数のメトリクスにわたって優れていることを示している。
論文 参考訳(メタデータ) (2024-10-14T20:39:02Z) - Superior Computer Chess with Model Predictive Control, Reinforcement Learning, and Rollout [2.68187684471817]
移動選択のための新しいアーキテクチャを導入し、利用可能なチェスエンジンをコンポーネントとして使用する。
1基のエンジンは値空間MPC/RLスキームの近似における位置評価を提供するのに使われ、もう1基のエンジンは名目上の反対として使用される。
我々のアーキテクチャは位置評価エンジンの性能を大幅に改善することを示します。
論文 参考訳(メタデータ) (2024-09-10T13:05:45Z) - Amortized Planning with Large-Scale Transformers: A Case Study on Chess [11.227110138932442]
本稿では,AIにおける画期的な計画問題であるチェスを用いて,計画課題の性能評価を行う。
ChessBenchは、Stockfishが提供する法的行動と価値アノテーション(1500億ポイント)を備えた1000万のチェスゲームの大規模なベンチマークである。
極めて優れた近似を教師付き学習により大規模変圧器に蒸留することは可能であるが, 完全蒸留は依然として到達範囲を超えている。
論文 参考訳(メタデータ) (2024-02-07T00:36:24Z) - SimPLR: A Simple and Plain Transformer for Scaling-Efficient Object Detection and Segmentation [49.65221743520028]
本研究は, 背骨と頭部が非階層的であり, 単一スケールの機能で動作するSimPLRを, スケール認識型トランスフォーマーベース検出器により検出できることを示す。
マルチスケールおよびシングルスケールの最先端と比較して、我々のモデルはより大きなキャパシティ(自己監督型)モデルとより事前学習データにより、はるかに良くスケールする。
論文 参考訳(メタデータ) (2023-10-09T17:59:26Z) - Hierarchical Point Attention for Indoor 3D Object Detection [111.04397308495618]
本研究は、点ベース変圧器検出器の汎用階層設計として、2つの新しい注意操作を提案する。
まず、よりきめ細かい特徴学習を可能にするために、シングルスケールの入力機能からマルチスケールトークンを構築するマルチスケール注意(MS-A)を提案する。
第2に,適応型アテンション領域を持つサイズ適応型ローカルアテンション(Local-A)を提案する。
論文 参考訳(メタデータ) (2023-01-06T18:52:12Z) - Solving Reasoning Tasks with a Slot Transformer [7.966351917016229]
本稿では、スロットアテンション、トランスフォーマー、およびビデオシーンデータに対する反復的変動推論を利用して表現を推論するアーキテクチャであるSlot Transformerを提案する。
アーキテクチャの主要なコンポーネントの有効性,モデルの表現能力,不完全な入力から予測できる能力について評価する。
論文 参考訳(メタデータ) (2022-10-20T16:40:30Z) - Multi-Game Decision Transformers [49.257185338595434]
そこで本研究では,1つのトランスフォーマーモデルを用いて,最大46個のAtariゲーム群を,人間に近いパフォーマンスで同時にプレイ可能であることを示す。
オンラインやオフラインのRL手法や行動クローンなど,マルチゲーム設定におけるいくつかのアプローチを比較した。
マルチゲーム決定変換モデルは、最高のスケーラビリティとパフォーマンスを提供します。
論文 参考訳(メタデータ) (2022-05-30T16:55:38Z) - Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
私たちはチェスのゲームのための言語モデリングのタスクを検討します。
自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。
トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
論文 参考訳(メタデータ) (2021-02-26T01:16:23Z) - Efficient Transformers: A Survey [98.23264445730645]
トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。
本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
論文 参考訳(メタデータ) (2020-09-14T20:38:14Z) - Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning
Subword Systems [78.80826533405019]
トークンセグメンテーションを必要とせずに文字レベルで機能するニューラルネットワーク翻訳モデルが得られることを示す。
我々の研究は、非常に大きくないキャラクタベースモデルを訓練しやすく、高性能化するための重要な一歩である。
論文 参考訳(メタデータ) (2020-04-29T15:56:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。