論文の概要: Mastering Chess with a Transformer Model
- arxiv url: http://arxiv.org/abs/2409.12272v1
- Date: Wed, 18 Sep 2024 19:05:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:53:05.883052
- Title: Mastering Chess with a Transformer Model
- Title(参考訳): 変圧器モデルによるチェスのマスタリング
- Authors: Daniel Monroe, The Leela Chess Zero Team,
- Abstract要約: 十分多目的な位置符号化を施したトランスフォーマーは,既存のチェス演奏モデルと計算コストのごく一部で一致させることができることを示す。
我々のアーキテクチャは、AlphaZeroを8倍のFLOPSで上回り、グランドマスターレベルのトランスフォーマーベースのエージェントを30倍のFLOPSで比較した。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Transformer models have demonstrated impressive capabilities when trained at scale, excelling at difficult cognitive tasks requiring complex reasoning and rational decision-making. In this paper, we explore the application of transformer models to chess, focusing on the critical role of the position encoding within the attention mechanism. We show that in chess, transformers endowed with a sufficiently versatile position encoding can match existing chess-playing models at a fraction of the computational cost. Our architecture significantly outperforms AlphaZero at 8x fewer FLOPS and matches prior grandmaster-level transformer-based agents at 30x fewer FLOPS.
- Abstract(参考訳): トランスフォーマーモデルは、スケールで訓練された時に印象的な能力を示し、複雑な推論と合理的な意思決定を必要とする難しい認知タスクに優れています。
本稿では,アテンション機構における位置符号化の重要な役割に着目し,トランスフォーマーモデルのチェスへの応用について検討する。
チェスでは、十分な多目的な位置符号化が与えられたトランスフォーマーが、既存のチェス演奏モデルと計算コストのごく一部で一致できることが示される。
我々のアーキテクチャは、AlphaZeroを8倍のFLOPSで上回り、グランドマスターレベルのトランスフォーマーベースのエージェントを30倍のFLOPSで比較した。
関連論文リスト
- Transformers Get Stable: An End-to-End Signal Propagation Theory for Language Models [6.809572275782338]
我々は,変換器モデルによる前方及び後方信号のモーメントを管理する統一信号伝搬理論を開発し,公式を提供する。
我々のフレームワークは、ハイアテンションスコアに関連する、消失/爆発の勾配、ランク崩壊、不安定性を理解し、緩和するために使用することができる。
論文 参考訳(メタデータ) (2024-03-14T17:59:14Z) - Grandmaster-Level Chess Without Search [9.5790772976207]
我々は、1000万のチェスゲームのデータセットに基づいて教師付き学習を伴うモデルを訓練する。
われわれの最大のモデルは2895年のリチェス・ブリッツ・エロ(Lichess blitz Elo)に到達した。
モデルとデータセットのサイズを体系的に調べると、強力なチェスのパフォーマンスは十分な規模でしか発生しない。
論文 参考訳(メタデータ) (2024-02-07T00:36:24Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - SimPLR: A Simple and Plain Transformer for Scaling-Efficient Object Detection and Segmentation [49.65221743520028]
本研究は, 背骨と頭部が非階層的であり, 単一スケールの機能で動作するSimPLRを, スケール認識型トランスフォーマーベース検出器により検出できることを示す。
マルチスケールおよびシングルスケールの最先端と比較して、我々のモデルはより大きなキャパシティ(自己監督型)モデルとより事前学習データにより、はるかに良くスケールする。
論文 参考訳(メタデータ) (2023-10-09T17:59:26Z) - Multi-Game Decision Transformers [49.257185338595434]
そこで本研究では,1つのトランスフォーマーモデルを用いて,最大46個のAtariゲーム群を,人間に近いパフォーマンスで同時にプレイ可能であることを示す。
オンラインやオフラインのRL手法や行動クローンなど,マルチゲーム設定におけるいくつかのアプローチを比較した。
マルチゲーム決定変換モデルは、最高のスケーラビリティとパフォーマンスを提供します。
論文 参考訳(メタデータ) (2022-05-30T16:55:38Z) - Leveraging Transformers for StarCraft Macromanagement Prediction [1.5469452301122177]
本稿では,StarCraft IIのマクロ管理タスクであるグローバル状態とビルド順序予測の2つのタスクに対して,トランスフォーマーベースのニューラルアーキテクチャを導入する。
電流バイアスに悩まされるリカレントニューラルネットワークとは異なり、トランスフォーマーは非常に長い時間をかけてパターンを捉えることができる。
変換器の重要な利点の一つは、それらの一般化能力であり、我々は、転送学習環境で使用する場合、我々のモデルがさらに精度良く達成できることを実証する。
論文 参考訳(メタデータ) (2021-10-11T15:12:21Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳(メタデータ) (2021-06-23T17:51:26Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z) - Multiscale Vision Transformers [79.76412415996892]
本稿では,マルチスケール特徴階層をトランスフォーマモデルに結びつけることで,映像・画像認識のためのマルチスケールビジョントランス (MViT) を提案する。
我々は,視覚信号の密集性を様々な映像認識タスクでモデル化するために,この基本アーキテクチャの事前評価を行う。
論文 参考訳(メタデータ) (2021-04-22T17:59:45Z) - The Chess Transformer: Mastering Play using Generative Language Models [0.0]
この研究は、自然言語トランスフォーマーがより汎用的な戦略的モデリングをサポートできることを実証している。
自然言語スキルの学習に加えて、抽象トランスフォーマーアーキテクチャはチェスボード上で意味のある動きを生成することができる。
我々は、このトランスフォーマーの約束、特に他の戦略ゲームに基づいて、今後の作業が構築されることを期待している。
論文 参考訳(メタデータ) (2020-08-02T18:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。