論文の概要: Increasing Skill Level Recruits Deeper Attention Layers in a Frozen Chess Transformer
- arxiv url: http://arxiv.org/abs/2609.23917v1
- Date: Sun, 20 Sep 2026 22:46:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.018592
- Title: Increasing Skill Level Recruits Deeper Attention Layers in a Frozen Chess Transformer
- Title（参考訳）: 冷凍チェス変圧器におけるより深い注意層を抽出するスキルレベルの向上
- Abstract要約: Maia-3チェストランスフォーマーは、事前訓練されたネットワークへの入力として、競争力のあるチェススキルの尺度であるEloを取り入れている。
このスキルダイヤルを回すことが自己意識に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chess involves complex reasoning in a deterministic environment, which makes it a useful setting for studying the mechanisms of computation inside transformers. The Maia-3 chess transformer takes Elo, a measure of competitive chess skill, as an input to the pre-trained network, so we can vary the skill the network is conditioned on with no change to its weights. Here we investigate how turning this skill dial affects self-attention. Ablating every attention head at every Elo from 700 to 2500, we find 1) increasing skill pushes the causal center of mass of the computation deeper, monotonically, for every chess piece and move type we measured; 2) the depth migration is much greater for specific tactics, especially knight forks, than for other move types; 3) the migration consists of deeper heads getting recruited for more specialized computations while one shared shallow head keeps a roughly constant contribution. These results may shed light on how conditioning inputs redistribute computation in larger transformers.
- Abstract（参考訳）: チェスは決定論的環境における複雑な推論を伴い、変換器内の計算機構を研究するのに役立つ。
Maia-3チェス変圧器は、事前訓練されたネットワークへの入力として、競争力のあるチェススキルの尺度であるエロ(Elo)を取り入れているため、ネットワークが重みに変化を伴わずに、ネットワークが調整されているスキルを変えることができる。
ここでは、このスキルダイヤルを回すことが自己注意にどのように影響するかを検討する。
700から2500のエロであらゆる注意をそらす
1) スキルの増大は, 計算の質量の因果中心をより深く, 単調に, チェスの駒ごとの移動タイプを計測する。
2) 深度移動は,特定の戦術,特に騎士フォークにおいて,他の移動種よりもはるかに大きい。
3) 移動は、より専門的な計算のために、より深い頭が採用され、一方の共有浅い頭がほぼ一定に寄与する。
これらの結果は、大きな変圧器のコンディショニング入力が再分別計算をどのように行うかに光を当てる可能性がある。
関連論文リスト
- Investigating Knowledge Transfer Across Interactive Dialogue Games [73.44278078966448]
異なる対話ゲーム間での知識伝達について検討する。
Clembench スイートのゲーム上で LLM モデルを微調整することにより、転送可能性について検討する。
いくつかのゲームは微調整よりも転送の恩恵を受けており、ビジュオパティアル・ファミリー(例えば探索ゲーム)は転送が最善である。
論文 参考訳（メタデータ） (2026-08-25T01:47:31Z) - Switch: Learning Agile Skills Switching for Humanoid Robots [62.14433450799811]
階層的なマルチスキルシステムであるSwitchを導入し、いつでもシームレスなスキル移行を可能にします。
提案手法は,(1)マルチスキル動作データ内の運動の類似性に基づいて,潜在的なクロススキル遷移を確立するスキルグラフ,(2)深い強化学習を通じて,このスキルグラフ上で訓練された全身追跡ポリシー,(3)堅牢なスキル実行とスムーズな移行のためのトラッキングポリシを駆動するオンラインスキルスケジューラの3つの重要な構成要素から構成される。
論文 参考訳（メタデータ） (2026-04-16T10:11:28Z) - Tracing the Thought of a Grandmaster-level Chess-Playing Transformer [62.403498221631715]
本稿では,Leela Chess Zeroの内部計算を解釈するスパース分解フレームワークを提案する。
これらの経路が豊富で解釈可能な考察を露呈することを示す詳細なケーススタディを行う。
我々の知る限りでは、これは計算モジュールと注意モジュールの両方で変換器の内部計算を分解する最初の試みである。
論文 参考訳（メタデータ） (2026-04-11T11:11:06Z) - Can Large Language Models Develop Strategic Reasoning? Post-training Insights from Learning Chess [54.5355907369231]
チェスにおける強化学習(RL)を通して,大規模言語モデル (LLM) が戦略的推論能力を発達させることができるかを検討する。
以上の結果から, 蒸留法に基づく高密度報酬は, 希少な二進報酬よりも優れていることが示唆された。
我々は、チェス推論訓練におけるSFTおよびRLの略語を提供し、この制限が、事前訓練されたモデルのチェスに対する内部理解の欠如に起因する証拠を見つける。
論文 参考訳（メタデータ） (2025-07-01T13:16:34Z) - General search techniques without common knowledge for imperfect-information games, and application to superhuman Fog of War chess [68.20244032271847]
我々は、戦争チェスのための最初の超人的AIであるObscuroを提示する。
不完全な情報ゲームにおける検索の進歩を導入し、強力でスケーラブルな推論を可能にした。
最先端のAIと人間のプレーヤーに対する実験は、Obscuroがかなり強いことを示している。
論文 参考訳（メタデータ） (2025-06-02T01:41:27Z) - A Behavior-Based Knowledge Representation Improves Prediction of Players' Moves in Chess by 25% [2.232417329532027]
本稿では,人間の次の動きを予測するために,エキスパート知識と機械学習技術を組み合わせた新しいアプローチを提案する。
ドメインの専門知識に根ざした特徴工学を適用して,中間レベルのチェス選手の動きのパターンを明らかにする。
我々の方法論は、人間の行動を予測するための有望なフレームワークを提供し、AIと人間とコンピュータの相互作用の両方の分野を前進させる。
論文 参考訳（メタデータ） (2025-04-07T18:49:00Z) - Predicting Chess Puzzle Difficulty with Transformers [0.0]
GlickFormerは,Glicko-2レーティングシステムを用いて,チェスパズルの難易度を予測するトランスフォーマーアーキテクチャである。
提案モデルでは,空間的特徴抽出にChessFormerのバックボーンを改良し,分解変換技術を用いて時間情報を組み込んだ。
結果は、GlickFormerのパフォーマンスが、最先端のChessFormerベースラインと比較して、複数のメトリクスにわたって優れていることを示している。
論文 参考訳（メタデータ） (2024-10-14T20:39:02Z) - Mastering Chess with a Transformer Model [0.0]
十分な表現力のある位置表現を付与したトランスフォーマーは,既存のチェス演奏モデルと計算コストのごく一部で一致できることを示す。
私たちのアーキテクチャはChessformerと呼ばれ、8倍少ない計算でAlphaZeroの演奏能力とパズル解決能力の両方で大幅に優れています。
論文 参考訳（メタデータ） (2024-09-18T19:05:21Z) - Predicting User Perception of Move Brilliance in Chess [3.434553688053531]
チェスの動きを華々しく分類する最初のシステムを示す。
精度は79%(ベースレート50%)、PPVは83%、NPVは75%である。
より弱いエンジンが低品質とみなすと、この動きは輝かしく、すべて等しいと予測される傾向が示される。
論文 参考訳（メタデータ） (2024-06-14T17:46:26Z) - Neural Population Learning beyond Symmetric Zero-sum Games [52.20454809055356]
我々はNuPL-JPSROという,スキルの伝達学習の恩恵を受けるニューラル集団学習アルゴリズムを導入し,ゲームの粗相関(CCE)に収束する。
本研究は, 均衡収束型集団学習を大規模かつ汎用的に実施可能であることを示す。
論文 参考訳（メタデータ） (2024-01-10T12:56:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。