論文の概要: Iterative Inference in a Chess-Playing Neural Network
- arxiv url: http://arxiv.org/abs/2508.21380v1
- Date: Fri, 29 Aug 2025 07:51:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 19:45:10.951383
- Title: Iterative Inference in a Chess-Playing Neural Network
- Title(参考訳): チェス演奏ニューラルネットワークにおける反復推論
- Authors: Elias Sandmann, Sebastian Lapuschkin, Wojciech Samek,
- Abstract要約: 超人チェスエンジンLeela Chess Zeroのポリシーネットワークを解析する。
層間における強度とパズル解決能力の強いモノトニックな傾向を見いだすが、政策分布は非滑らかな軌道に追従することが多い。
- 参考スコア(独自算出の注目度): 21.188604236393708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do neural networks build their representations through smooth, gradual refinement, or via more complex computational processes? We investigate this by extending the logit lens to analyze the policy network of Leela Chess Zero, a superhuman chess engine. We find strong monotonic trends in playing strength and puzzle-solving ability across layers, yet policy distributions frequently follow non-smooth trajectories. Evidence for this includes correct puzzle solutions that are discovered early but subsequently discarded, move rankings that remain poorly correlated with final outputs, and high policy divergence until late in the network. These findings contrast with the smooth distributional convergence typically observed in language models.
- Abstract(参考訳): ニューラルネットワークは、スムーズで段階的な洗練を通じて、あるいはより複雑な計算プロセスを通じて、その表現を構築していますか?
超人チェスエンジンLeela Chess Zeroのポリシーネットワークを解析するために、ロジットレンズを拡張して検討する。
層間における強度とパズル解決能力の強いモノトニックな傾向を見いだすが、政策分布は非滑らかな軌道に追従することが多い。
この証拠には、早期に発見された後破棄された正しいパズル解、最終的な出力と相関の低いランクの移動、ネットワークの後半まで高いポリシー分岐が含まれる。
これらの結果は、言語モデルでよく見られるスムーズな分布収束とは対照的である。
関連論文リスト
- Interpreting learned search: finding a transition model and value function in an RNN that plays Sokoban [3.274397973865673]
我々はパズルゲーム「ソコバン」をプレイするために訓練された畳み込みリカレントニューラルネットワーク(RNN)を部分的にリバースエンジニアリングした。
以前の研究によると、このネットワークはテストタイムの計算量を増やして、より多くのレベルを解決している。
論文 参考訳(メタデータ) (2025-06-11T19:36:17Z) - Understanding the learned look-ahead behavior of chess neural networks [0.0]
チェスをするニューラルネットワークのルックアヘッド能力について検討し,特にLeela Chess Zeroポリシーネットワークに着目した。
その結果,ネットワークのルックアヘッド動作は文脈に依存していることがわかった。
ネットワークが単一のプレーラインに注目するのではなく、複数の移動シーケンスを考慮している証拠を提供する。
論文 参考訳(メタデータ) (2025-05-26T04:03:59Z) - Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。
モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。
また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
論文 参考訳(メタデータ) (2023-02-20T01:30:27Z) - Finding mixed-strategy equilibria of continuous-action games without
gradients using randomized policy networks [83.28949556413717]
グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。
ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。
本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
論文 参考訳(メタデータ) (2022-11-29T05:16:41Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。
このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。
我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文 参考訳(メタデータ) (2021-03-05T08:45:43Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳(メタデータ) (2020-03-31T16:47:20Z) - Improved Gradient based Adversarial Attacks for Quantized Networks [15.686134908061995]
量子化されたネットワークは、勾配が消える問題に悩まされ、頑健さの偽の感覚を示す。
トレーニングネットワークにおける信号伝搬の低下に起因する勾配の低減により,この問題を緩和するための簡単な温度スケーリング手法を導入する。
論文 参考訳(メタデータ) (2020-03-30T14:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。