論文の概要: Learning Chess Blindfolded: Evaluating Language Models on State Tracking

• arxiv url: http://arxiv.org/abs/2102.13249v1
• Date: Fri, 26 Feb 2021 01:16:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 14:06:27.446649
• Title: Learning Chess Blindfolded: Evaluating Language Models on State Tracking
• Title（参考訳）: learning chess blindfolded: 状態追跡による言語モデルの評価
• Authors: Shubham Toshniwal, Sam Wiseman, Karen Livescu, Kevin Gimpel
• Abstract要約: 私たちはチェスのゲームのための言語モデリングのタスクを検討します。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
• 参考スコア（独自算出の注目度）: 69.3794549747725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer language models have made tremendous strides in natural language understanding tasks. However, the complexity of natural language makes it challenging to ascertain how accurately these models are tracking the world state underlying the text. Motivated by this issue, we consider the task of language modeling for the game of chess. Unlike natural language, chess notations describe a simple, constrained, and deterministic domain. Moreover, we observe that the appropriate choice of chess notation allows for directly probing the world state, without requiring any additional probing-related machinery. We find that: (a) With enough training data, transformer language models can learn to track pieces and predict legal moves with high accuracy when trained solely on move sequences. (b) For small training sets providing access to board state information during training can yield significant improvements. (c) The success of transformer language models is dependent on access to the entire game history i.e. "full attention". Approximating this full attention results in a significant performance drop. We propose this testbed as a benchmark for future work on the development and analysis of transformer language models.
• Abstract（参考訳）: トランスフォーマー言語モデルは自然言語理解タスクにおいて大きな進歩を遂げた。 しかし、自然言語の複雑さは、これらのモデルがテキストの基礎となる世界状態を正確に追跡しているかどうかを確認するのに困難である。 この問題に動機づけられたのは,チェスゲームにおける言語モデリングの課題である。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 さらに, チェス表記の適切な選択は, 追加のプロビング関連機械を必要とせずに, 直接世界状態を探索することを可能にする。 a) 十分なトレーニングデータがあれば、トランスフォーマー言語モデルは、移動シーケンスのみをトレーニングした場合に、ピースを追跡し、高い精度で法的動きを予測することができる。 b) 訓練中にボード状態情報にアクセス可能な小さなトレーニングセットでは、大幅な改善が期待できる。 (c) トランスフォーマー言語モデルの成功は,ゲーム履歴全体へのアクセスに依存している。 「全面的注意」。 この全注意を近似すると、パフォーマンスが大幅に低下する。 このテストベッドは、トランス言語モデルの開発と分析に関する今後の作業のベンチマークとして提案します。

関連論文リスト

• Robustifying Language Models with Test-Time Adaptation [17.96043752001886]
  大規模言語モデルは、多くの言語タスクに対して最先端のパフォーマンスを達成した。 これらは、言語モデルを騙すように最適化された文であるが、人間に類似した意味を持つ、敵対的な言語の例では失敗する。 入力文をマスキングされた単語からの予測に適応させることで,多くの言語敵対攻撃を逆転させることができることを示す。
  論文  参考訳（メタデータ） (2023-10-29T22:37:54Z)
• Infusing Commonsense World Models with Graph Knowledge [89.27044249858332]
  オープンワールドテキストアドベンチャーゲームにおける物語生成の設定について検討する。 基礎となるゲーム状態のグラフ表現は、接地グラフ表現と自然言語記述とアクションの両方を消費し出力するモデルを訓練するために使用することができる。
  論文  参考訳（メタデータ） (2023-01-13T19:58:27Z)
• Improving Chess Commentaries by Combining Language Models with Symbolic Reasoning Engines [31.87260568733666]
  本稿では, シンボリック推論エンジンと制御可能な言語モデルを組み合わせることで, チェスの解説を生成する方法について述べる。 我々は,従来の基準よりも人間の判断に好まれる注釈を生成することを実証するために実験を行った。
  論文  参考訳（メタデータ） (2022-12-15T23:38:31Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect [0.0]
  表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。 構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。 我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
  論文  参考訳（メタデータ） (2021-11-25T15:49:50Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Knowledge-Aware Language Model Pretraining [29.56904859722379]
  トランスフォーマーアーキテクチャを変更することなく、言語モデルの事前学習に知識認識を取り入れる。 LAMA知識探索タスクにおける言語モデリング精度の向上,事実的正当性,エッジ探索による隠れ表現の意味性について検討した。 我々の知識認識言語モデル(KALM)は、GPT-2モデルの代替となる。
  論文  参考訳（メタデータ） (2020-06-29T06:09:59Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。