論文の概要: The Chess Transformer: Mastering Play using Generative Language Models

• arxiv url: http://arxiv.org/abs/2008.04057v5
• Date: Fri, 18 Sep 2020 17:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 19:21:41.629198
• Title: The Chess Transformer: Mastering Play using Generative Language Models
• Title（参考訳）: Chess Transformer: 生成言語モデルを用いたマスタリングプレイ
• Authors: David Noever, Matt Ciolino and Josh Kalin
• Abstract要約: この研究は、自然言語トランスフォーマーがより汎用的な戦略的モデリングをサポートできることを実証している。 自然言語スキルの学習に加えて、抽象トランスフォーマーアーキテクチャはチェスボード上で意味のある動きを生成することができる。 我々は、このトランスフォーマーの約束、特に他の戦略ゲームに基づいて、今後の作業が構築されることを期待している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work demonstrates that natural language transformers can support more generic strategic modeling, particularly for text-archived games. In addition to learning natural language skills, the abstract transformer architecture can generate meaningful moves on a chessboard. With further fine-tuning, the transformer learns complex gameplay by training on 2.8 million chess games in Portable Game Notation. After 30,000 training steps, OpenAI's Generative Pre-trained Transformer (GPT-2) optimizes weights for 774 million parameters. This fine-tuned Chess Transformer generates plausible strategies and displays game formations identifiable as classic openings, such as English or the Slav Exchange. Finally, in live play, the novel model demonstrates a human-to-transformer interface that correctly filters illegal moves and provides a novel method to challenge the transformer's chess strategies. We anticipate future work will build on this transformer's promise, particularly in other strategy games where features can capture the underlying complex rule syntax from simple but expressive player annotations.
• Abstract（参考訳）: この研究は、自然言語トランスフォーマーがより汎用的な戦略的モデリング、特にテキスト構造化ゲームをサポートできることを実証している。 自然言語スキルの習得に加えて、抽象トランスフォーマーアーキテクチャはチェス盤上で意味のある動きを生成することができる。 さらなる微調整により、トランスフォーマーはポータブルゲーム表記で2800万のチェスゲームを訓練することで複雑なゲームプレイを学習する。 30,000のトレーニングステップの後、OpenAIのGenerative Pre-trained Transformer (GPT-2)は7億7400万のパラメータの重量を最適化する。 この微調整されたチェストランスフォーマーは、妥当な戦略を生成し、英語やスラヴ交換のような古典的な開口部として識別可能なゲーム形成を表示する。 最後に、ライブプレイにおいて、新しいモデルは、不正な動きを正しくフィルターし、トランスフォーマーのチェス戦略に挑戦する新しい方法を提供する、人間とトランスフォーマーのインターフェースを実証する。 特に、シンプルで表現力に富んだプレーヤアノテーションから複雑なルール構文をキャプチャできる他の戦略ゲームでは、今後の作業がこのトランスフォーマーの約束に基づいて構築されることを期待しています。

関連論文リスト

• Mastering Chess with a Transformer Model [0.0]
  十分な表現力のある位置表現を付与したトランスフォーマーは,既存のチェス演奏モデルと計算コストのごく一部で一致できることを示す。 私たちのアーキテクチャはChessformerと呼ばれ、8倍少ない計算でAlphaZeroの演奏能力とパズル解決能力の両方で大幅に優れています。
  論文  参考訳（メタデータ） (2024-09-18T19:05:21Z)
• Transformer Explainer: Interactive Learning of Text-Generative Models [65.91049787390692]
  Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。 ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
  論文  参考訳（メタデータ） (2024-08-08T17:49:07Z)
• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Word Play for Playing Othello (Reverses) [0.0]
  研究は、より大きな(GPT-3)言語モデルと小さい(GPT-2)言語モデルの両方を適用して、Othello(またはReverses)のゲームのための複雑な戦略を探索する。 言語モデルはチャンピオンシップレベルの戦略を自動的にキャプチャまたはエミュレートする。 微調整されたGPT-2モデルは13-71%の完成率からオセロゲームを生成し、より大きなGPT-3モデルは41%の完成率に達する。
  論文  参考訳（メタデータ） (2022-07-18T17:13:32Z)
• Multi-Game Decision Transformers [49.257185338595434]
  そこで本研究では,1つのトランスフォーマーモデルを用いて,最大46個のAtariゲーム群を,人間に近いパフォーマンスで同時にプレイ可能であることを示す。 オンラインやオフラインのRL手法や行動クローンなど,マルチゲーム設定におけるいくつかのアプローチを比較した。 マルチゲーム決定変換モデルは、最高のスケーラビリティとパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2022-05-30T16:55:38Z)
• Leveraging Transformers for StarCraft Macromanagement Prediction [1.5469452301122177]
  本稿では,StarCraft IIのマクロ管理タスクであるグローバル状態とビルド順序予測の2つのタスクに対して,トランスフォーマーベースのニューラルアーキテクチャを導入する。 電流バイアスに悩まされるリカレントニューラルネットワークとは異なり、トランスフォーマーは非常に長い時間をかけてパターンを捉えることができる。 変換器の重要な利点の一つは、それらの一般化能力であり、我々は、転送学習環境で使用する場合、我々のモデルがさらに精度良く達成できることを実証する。
  論文  参考訳（メタデータ） (2021-10-11T15:12:21Z)
• Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
  私たちはチェスのゲームのための言語モデリングのタスクを検討します。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
  論文  参考訳（メタデータ） (2021-02-26T01:16:23Z)
• The Go Transformer: Natural Language Modeling for Game Play [0.0]
  この研究は、Goの古代のゲームにおいて、もっともらしい戦略的な動きを生成するために自然言語モデリングを適用した。 我々は、GPT-2(Generative Pretrained Transformer)をトレーニングし、スマートゲームフォーマットでアーカイブされたGoチャンピオンのスタイルを模倣する。 トレーニングされたモデルは、Goの有効だが以前は見えなかった戦略をさらに生成します。
  論文  参考訳（メタデータ） (2020-07-07T14:37:27Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。