論文の概要、ライセンス

# (参考訳) アルゴリズムを学べますか? リカレントネットワークの難易度から難易度への一般化 [全文訳有]

Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks ( http://arxiv.org/abs/2106.04537v1 )

ライセンス: CC BY 4.0
Avi Schwarzschild, Eitan Borgnia, Arjun Gupta, Furong Huang, Uzi Vishkin, Micah Goldblum, Tom Goldstein(参考訳) ディープニューラルネットワークは、視覚パターン認識のための強力なマシンであるが、人間にとって簡単な推論タスクは、ニューラルモデルにとって依然として困難である。 人間は、単純な問題で学んだ推論戦略を外挿して、しばしば長く考えることで、難しい例を解く能力を持っている。 例えば、小さな迷路を解くことを学んだ人は、非常に大きな迷路をもっと多くの時間をかけて解くために、同じ検索テクニックを簡単に拡張できます。 コンピュータでは、多くの計算コストを犠牲にして任意に難しい問題インスタンスにスケールするアルゴリズムを用いることで、この動作が達成されることが多い。 対照的に、フィードフォワードニューラルネットワークの逐次コンピューティング予算は、その深さによって制限されており、単純な問題で訓練されたネットワークは、より難しい問題に対応するために推論を拡張する方法がない。 本研究では,再帰的ステップの少ない単純な問題を解くために訓練された再帰的ネットワークは,推論中に追加的な再帰を行うことで,より複雑な問題を実際に解決できることを示す。 本稿では,プレフィックス和計算,迷路計算,チェスにおける再帰ネットワークのアルゴリズム的挙動を示す。 3つのドメインすべてにおいて、単純な問題インスタンスでトレーニングされたネットワークは、単に"より長く考える"だけで、テスト時に推論能力を拡張できる。

Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. Humans possess the ability to extrapolate reasoning strategies learned on simple problems to solve harder examples, often by thinking for longer. For example, a person who has learned to solve small mazes can easily extend the very same search techniques to solve much larger mazes by spending more time. In computers, this behavior is often achieved through the use of algorithms, which scale to arbitrarily hard problem instances at the cost of more computation. In contrast, the sequential computing budget of feed-forward neural networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning to accommodate harder problems. In this work, we show that recurrent networks trained to solve simple problems with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference. We demonstrate this algorithmic behavior of recurrent networks on prefix sum computation, mazes, and chess. In all three domains, networks trained on simple problem instances are able to extend their reasoning abilities at test time simply by "thinking for longer."
公開日: Tue, 8 Jun 2021 17:19:48 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] G L . 8 ] G L。 0.81
s c [ 1 v 7 3 5 4 0 sc [ 1 v 7 3 5 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Can You Learn an Algorithm? アルゴリズムを学べますか? 0.70
Generalizing from Easy to Hard Problems with Recurrent Networks リカレントネットワークの難易度から難易度への一般化 0.67
Avi Schwarzschild Avi Schwarzschild 0.85
Eitan Borgnia Eitan Borgnia 0.85
Department of Mathematics Department of Computer Science 数学科 計算機科学専攻 0.53
University of Maryland College Park, MD, USA メリーランド大学カレッジパーク校, アメリカ 0.50
avi1@umd.edu avi1@umd.edu 0.67
University of Maryland College Park, MD, USA メリーランド大学カレッジパーク校, アメリカ 0.50
Arjun Gupta アルジュングプタ(Arjun Gupta) 0.40
Department of Robotics University of Maryland College Park, MD, USA 米国メリーランド州メリーランド大学カレッジパークロボット工学科 0.56
Department of Computer Science Department of Computer Science 計算機科学専攻 計算機科学専攻 0.61
Department of Computer Science Department of Computer Science 計算機科学専攻 計算機科学専攻 0.61
Furong Huang University of Maryland College Park, MD, USA フロンフン メリーランド大学カレッジパーク校, アメリカ 0.41
Micah Goldblum ミカ・ゴールドブラム 0.49
University of Maryland College Park, MD, USA メリーランド大学カレッジパーク校, アメリカ 0.50
Uzi Vishkin University of Maryland College Park, MD, USA ウジ・ヴィシュキン メリーランド大学カレッジパーク校, アメリカ 0.42
Tom Goldstein トム・ゴールドスタイン 0.54
University of Maryland College Park, MD, USA メリーランド大学カレッジパーク校, アメリカ 0.50
Abstract Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. 概要 ディープニューラルネットワークは、視覚パターン認識のための強力なマシンであるが、人間にとって簡単な推論タスクは、ニューラルモデルにとって依然として困難である。
訳抜け防止モード: 概要 ディープニューラルネットワークは視覚パターン認識のための強力なマシンである。 しかし人間にとって簡単な推論タスクは 神経モデルでは難しいかもしれません
0.58
Humans possess the ability to extrapolate reasoning strategies learned on simple problems to solve harder examples, often by thinking for longer. 人間は、単純な問題で学んだ推論戦略を外挿して、しばしば長く考えることで、難しい例を解く能力を持っている。 0.67
For example, a person who has learned to solve small mazes can easily extend the very same search techniques to solve much larger mazes by spending more time. 例えば、小さな迷路を解くことを学んだ人は、非常に大きな迷路をもっと多くの時間をかけて解くために、同じ検索テクニックを簡単に拡張できます。
訳抜け防止モード: 例えば、小さな迷路を解くことを学んだ人は、簡単に同じ検索テクニックを拡張することができる。 より大きな迷路を解き明かす もっと時間をかけて。
0.73
In computers, this behavior is often achieved through the use of algorithms, which scale to arbitrarily hard problem instances at the cost of more computation. コンピュータでは、多くの計算コストを犠牲にして任意に難しい問題インスタンスにスケールするアルゴリズムを用いることで、この動作が達成されることが多い。 0.73
In contrast, the sequential computing budget of feed-forward neural networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning to accommodate harder problems. 対照的に、フィードフォワードニューラルネットワークの逐次コンピューティング予算は、その深さによって制限されており、単純な問題で訓練されたネットワークは、より難しい問題に対応するために推論を拡張する方法がない。
訳抜け防止モード: 対照的に、フィードの逐次コンピューティング予算 - フォワードニューラルネットワークはその深さによって制限される。 単純な問題で訓練されたネットワークには 推論を拡張する方法がない 難しい問題に対処する
0.66
In this work, we show that recurrent networks trained to solve simple problems with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference. 本研究では,再帰的ステップの少ない単純な問題を解くために訓練された再帰的ネットワークは,推論中に追加的な再帰を行うことで,より複雑な問題を実際に解決できることを示す。 0.65
We demonstrate this algorithmic behavior of recurrent networks on prefix sum computation, mazes, and chess. 本稿では,プレフィックス和計算,迷路計算,チェスにおける再帰ネットワークのアルゴリズム的挙動を示す。 0.76
In all three domains, networks trained on simple problem instances are able to extend their reasoning abilities at test time simply by “thinking for longer.” 3つのドメインすべてにおいて、単純な問題インスタンスでトレーニングされたネットワークは、単に"より長く考える"だけで、テスト時に推論能力を拡張できる。 0.68
1 Introduction In computational theories of mind, an analytical problem is tackled by embedding it in “working memory” and then iteratively applying transformations to the representation until the problem is solved [Baddeley, 2012, Baddeley and Hitch, 1974]. 1 はじめに 心の計算理論において、分析問題は「ワーキングメモリ」に埋め込んで、問題を解くまで表現に反復的に変換を適用することで取り組まれる(Baddeley, 2012 Baddeley and Hitch, 1974)。 0.70
Iterative processes underlie the human ability to solve sequential reasoning problems, such as complex question answering, proof writing, and even object classification [Liao and Poggio, 2016, Kar et al , 2019]. 複雑な質問応答や証明書,さらにはオブジェクト分類(Liao and Poggio, 2016 Kar et al , 2019)など,シーケンシャルな推論問題の解決には,反復的なプロセスが不可欠である。 0.78
They also enable humans to extrapolate their knowledge to solve problems of potentially unbounded complexity, including harder problems than they have seen before, by thinking for longer. また、人間は知識を外挿して、より長く考えることで、これまでよりも難しい問題を含む、潜在的に無限の複雑さの問題を解決することもできる。 0.67
Preprint. Under review. プレプリント。 レビュー中。 0.63
英語(論文から抽出)日本語訳スコア
This work examines whether recurrent neural networks trained on easy problems can extrapolate their knowledge to solve hard problems. この研究は、簡単な問題で訓練されたリカレントニューラルネットワークが、彼らの知識を外挿して難しい問題を解決することができるかどうかを調べる。
訳抜け防止モード: この研究は 簡単な問題を訓練したリカレントニューラルネットワークは、彼らの知識を外挿して難しい問題を解決することができる。
0.63
We find that recurrent networks can indeed generalize to harder problems simply by increasing their test time iteration budget (i.e., thinking for longer than they did at train time). リカレントネットワークは、単にテストタイムのイテレーション予算(つまり、列車の時間よりも長く考えること)を増やすことで、難しい問題に一般化できることに気付きました。 0.73
Moreover, we find that the performance of recurrent models improves as they recur for more iterations, even without adding parameters or re-training in the new, more challenging problem domain. さらに、パラメータを追加したり、新しいより困難な問題領域で再トレーニングすることなく、繰り返しモデルのパフォーマンスが、より多くのイテレーションに再帰するように改善されることが分かりました。 0.66
This ability is specific to recurrent networks, as standard feed-forward networks rely on layer-specific behaviors that cannot be repeated to extend their reasoning power. この能力はリカレントネットワークに特有であり、標準的なフィードフォワードネットワークは推論能力を拡張できないレイヤ固有の振る舞いに依存している。 0.68
The behavior we observe in recurrent networks falls outside the classical notions of generalization in which models are trained and tested on the same distribution. リカレントネットワークで観測される振る舞いは、モデルが同じ分布上で訓練され、テストされる古典的な一般化の概念の外側にある。 0.72
Because we train and test on problems of different sizes/difficulties, our training and test distributions are disjoint, and systems must extrapolate to solve problems from the test distribution. サイズや差分の違いの問題をトレーニングし、テストするため、トレーニングとテストの分布は不一致であり、システムはテストの分布から問題を解決するために外挿する必要がある。
訳抜け防止モード: サイズや問題の違いをトレーニングし、テストするからです。 訓練とテストの分布は不一致です システムはテスト分布の問題を解決するために外挿する必要があります
0.72
Outside the field of machine learning, computers achieve a functionally similar extrapolation ability through the use of algorithms, which encode the process required to solve a class of problems, and can therefore scale to problems of arbitrary size, albeit with longer runtime. 機械学習の分野以外では、コンピュータはアルゴリズムを使うことで機能的に類似した外挿能力を達成している。
訳抜け防止モード: 機械学習の分野以外では、コンピュータはアルゴリズムを用いて機能的に類似した外挿能力を達成する。 問題解決に必要なプロセスをエンコードします そのため、ランタイムが長い場合であっても、任意のサイズの問題にスケールできる。
0.76
By training networks to solve problems iteratively, we hope to find models that encode a scalable method for solving problems rather than memorizing a mapping between input features and outputs. ネットワークを反復的に解くようにトレーニングすることで,入力特徴量と出力値のマッピングを記憶するよりも,問題を解くためのスケーラブルな手法をエンコードしたモデルを見出したいと考えています。 0.63
In short, the goal is to create recurrent architectures that are capable of learning an algorithm. 簡単に言うと、目標はアルゴリズムを学習できるリカレントなアーキテクチャを作ることです。 0.63
Our focus is on three reasoning problems that are classically solved using hand-crafted algorithms: computing prefix sums, solving mazes, and playing chess. 我々は,接頭辞和の計算,迷路の解法,チェスのプレイという,手作りアルゴリズムを用いて古典的に解決される3つの推論問題に焦点を当てている。
訳抜け防止モード: 我々の焦点は、手作りのアルゴリズムを用いて古典的に解決される3つの推論問題である。 算数の計算 迷路の解き チェス
0.69
Sequential reasoning tasks like these are ideal for our study because one can directly quantify the difficulty of a problem instance. このような逐次推論タスクは,問題インスタンスの難易度を直接定量化できるため,研究にとって理想的です。 0.75
In the case of mazes, for example, we can easily swap to a more challenging domain by increasing the size of the search space. 例えば迷路の場合、探索空間のサイズを大きくすることで、より困難な領域に簡単に置き換えることができる。 0.66
For each class of problems, recurrent networks are trained on a set of “easy” problems using a fixed number of iterations of the recurrent module on the forward pass. 各クラスの問題に対して、recurrent networkは、フォワードパス上のrecurrentモジュールの一定数のイテレーションを使用して、一連の“easy”問題に基づいてトレーニングされる。 0.73
After training is complete, we assess whether our models exhibit logical extrapolation behaviors by testing them on “hard” problems, with varying numbers of additional iterations. トレーニングが完了すると、モデルが“ハード”問題でテストすることで論理的外挿行動を示すかどうかを、追加のイテレーションの数によって評価します。 0.65
Remarkably, models trained on easy examples exhibit little extrapolative behavior until their iteration budget is increased — generalizing to harder problems requires thinking deeper. 驚くべきことに、簡単な例でトレーニングされたモデルは、イテレーション予算が増加するまで外挿的な振る舞いをほとんど示さない。 0.51
Moreover, we find recurrent models tested with a sufficient number of extra iterations outperform the inflexible feed-forward models of comparable depth, often by a wide margin. さらに,同じ深さの非フレキシブルフィードフォワードモデルよりも,十分な数の余分なイテレーションでテストされたリカレントモデルが優れていることがわかった。 0.74
Finally, we visualize the iterative behavior of the recurrent module to gain insights into the problem solving process they discover. 最後に、リカレントモジュールの反復挙動を可視化し、それらが発見する問題解決プロセスの洞察を得る。 0.70
1.1 Related Work Our investigation into generalizing from easy to hard examples builds on several bodies of work. 1.1 関連作業 簡単な例から難しい例への一般化に関する我々の調査は、いくつかの作業体に基づいている。 0.64
The basic neural architectures we use are not new and build upon prior studies of weight sharing and recurrence [Pinheiro and Collobert, 2014, Liang and Hu, 2015, Alom et al , 2018, Bai et al , 2018, 2019, Lan et al , 2020, Jaegle et al , 2021]. 私たちが使用する基本的なニューラルアーキテクチャは新しいものではなく、重みの共有と再帰に関する以前の研究に基づいている(pinheiro, collobert, 2014 liang and hu, 2015 alom et al , 2018, bai et al , 2018, 2019, lan et al , 2020, jaegle et al , 2021)。 0.79
Networks with variable numbers of test time iterations/layers have also been studied, including variable depth networks [Graves, 2016, Huang et al , 2016, Kaya et al , 2019, Eyzaguirre and Soto, 2020]. 可変深さネットワーク(graves, 2016 huang et al , 2016 kaya et al , 2019, eyzaguirre and soto, 2020)を含む、テスト時間のイテレーション/レイヤーの数が変化するネットワークも研究されている。 0.73
Motivated by the fact that input sequence length is not necessarily correlated with the computational burden required to solve a problem, Graves [2016] develops a method for RNNs to adaptively select a compute time limit. 入力シーケンス長が問題解決に必要な計算負担と必ずしも相関しないという事実から,Graves [2016] は RNN が計算時間制限を適応的に選択する手法を開発した。 0.81
This work considers only sequence inputs and shows the benefits of decoupling compute budget from input length. この研究はシーケンス入力のみを考慮しており、入力長から計算予算を分離する利点を示している。 0.66
A differentiable extension of the technique can also be applied to visual question answering [Eyzaguirre and Soto, 2020]. このテクニックの差別化可能な拡張は、視覚的な質問応答にも適用できます [eyzaguirre and soto, 2020]。 0.66
The above works leverage neural networks with adaptive computation budgets to speed up and strengthen inference when learning on stationary distributions. 上記の研究は、ニューラルネットワークを適応的な計算予算で活用し、定常分布で学習する際の推論のスピードアップと強化を図っている。
訳抜け防止モード: 上記の研究は適応的な計算予算を持つニューラルネットワークを活用する 定常分布を学習する際の推論の高速化と強化。
0.71
In contrast, our work studies the logical extrapolation behaviors that recurrent networks possess when both computation budgets and problem difficulties are extended beyond the train-time regime. 対照的に,本研究は,計算予算と問題問題の両方が列車時制を超えて拡張される場合に,再帰的ネットワークが持つ論理的外挿挙動を研究する。 0.61
The particular problems we use to study this type of extrapolation include prefix sum computation and maze solving, two problems analyzed in the classical algorithms literature. このタイプの外挿の研究に使用する特定の問題は、プレフィックス和計算と迷路解法であり、古典的アルゴリズムの文献で解析された2つの問題である。 0.68
Our third case study is the game of chess, which has also been the focus of much artificial intelligence work [Romstad et al , Biswas and Regan, 2015, Silver et al , 2017, McIlroy-Young et al , 2020]. 第3のケーススタディであるthe game of chessは、多くの人工知能作業にも焦点を当てています(romstad et al , biswas and regan, 2015 silver et al , 2017 mcilroy-young et al , 2020)。 0.71
However, those efforts to play chess rely heavily on hand-crafted search algorithms, often paired with neural networks or opening books, and aim to play games from start to finish, both methods and goals that diverge from ours. しかし、チェスをプレイするためのこれらの取り組みは、手作りの検索アルゴリズムに大きく依存しており、ニューラルネットワークと組み合わせたり、書籍を開いたりすることも多い。 0.56
As opposed to hard-coded algorithms, which scale by design, we are interested in studying 設計によってスケールするハードコードアルゴリズムとは対照的に、我々は研究に興味を持っている。 0.64
2 2 0.85
英語(論文から抽出)日本語訳スコア
whether learned processes can generalize from the data on which they are trained to even harder problems. 学習したプロセスが、訓練されたデータからさらに難しい問題へと一般化できるかどうか。 0.71
2 Dataset Descriptions 2 データセットの説明 0.68
We conduct experiments in three problem domains that are classically solved using hand-crafted algorithms. 従来の手作りアルゴリズムで解く3つの問題領域で実験を行う。 0.65
For each, we define datasets that have quantifiable notions of difficulty. それぞれ、難易度の概念を定量化するデータセットを定義します。 0.66
This makes it possible to train models on easy examples and test them on harder ones. これにより、簡単な例でモデルをトレーニングし、難しい例でテストすることができる。 0.75
We consider the task of computing prefix sums modulo two of binary bit strings, solving two-dimensional mazes, and finding the best move in chess puzzles. 本稿では,二進ビット列の2つの和を計算し,二次元迷路を解くこと,チェスパズルの最良の動きを見つけることを考える。 0.69
Prefix Sums This problem is inspired by a similar dataset used by Graves [2016]. Prefix Sums この問題は Graves [2016] が使用した同様のデータセットにインスパイアされている。 0.73
Each training sample is a binary string. 各トレーニングサンプルはバイナリ文字列である。 0.77
The goal is to output a binary string of equal length, where each bit represents the cumulative sum of input bits modulo two. 目標は、各ビットが2倍の入力ビットの累積和を表す同じ長さのバイナリ文字列を出力することである。 0.76
Our models accept input strings of any size, and we consider longer strings to be more difficult to process than shorter ones. 我々のモデルは任意のサイズの入力文字列を受け入れ、より長い文字列は短い文字列よりも処理が難しいと考える。 0.70
Each dataset contains 10,000 uniform random binary strings without duplicates. 各データセットには、重複のない一様ランダムバイナリ文字列が10,000個含まれている。 0.47
We use datasets with input lengths of 32, 44, and 48 bits. 入力長32ビット、44ビット、48ビットのデータセットを使用します。 0.72
See Figure 1 for an example input and the corresponding target output. 例の入力と対応するターゲット出力の図1を参照してください。 0.80
Input: Target: 入力: target: 0.77
[1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 0, 1] [1, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 1, 0] [1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 0, 1] [1, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 1, 0] 0.85
Figure 1: Prefix sum input and target example. 図1:プレフィックスサム入力とターゲット例。 0.65
Mazes We consider mazes generated using a depth-first search algorithm [Hill, 2017]. mazes 深度優先探索アルゴリズム [hill, 2017] で生成された迷路を考える。 0.80
We train on 50,000 small (9 × 9) mazes, and we test on 10,000 larger (13 × 13) mazes. 我々は5万個の小さな迷路(9×9)を訓練し、1万個の大きな迷路(13×13)をテストした。 0.66
Our models are convolutional, and receive a maze as a N × N three-channel image, where the maze walls are black, and the start and goal locations are red and green, respectively. 我々のモデルは畳み込み型であり、迷路の壁が黒く、スタート位置とゴール位置はそれぞれ赤と緑であるN×N三チャンネル画像として迷路を受信する。 0.66
The label for each maze is a binary two-dimensional mask containing the locations of positions along the shortest path solution. 各迷路のラベルは、最短経路溶液に沿った位置の位置を含む2次元マスクである。 0.69
Our models output a two logits per pixel which are then thresholded to a binary mask of the whole input, and we consider a candidate solution correct only if it exactly predicts the labeled path. 我々のモデルは1ピクセルあたり2つのロジットを出力し、入力全体のバイナリマスクにしきい値が与えられ、ラベル付きパスを正確に予測した場合にのみ、候補ソリューションが正しいと考える。 0.77
See Figure 10 for an example. 図10の例を見てください。 0.83
More examples are available in Appendix A.1.2. さらなる例は appendix a.1.2 で見ることができる。 0.55
Chess Puzzles The third dataset we use is a corpus of chess puzzles. Chess Puzzles 第3のデータセットはチェスパズルのコーパスです。 0.69
The data is furnished by Lichess, an online open-source chess server [Lichess, 2021]. データは、オンラインのオープンソースのチェスサーバーLichess(Lichess, 2021]によって提供されています。 0.64
From billions of games, Lichess compiles “puzzles” – mid-game boards for which a sequence of unique best moves is determinable (e g sequences of moves leading to a forced checkmate). 何十億ものゲームから、lichessは“puzzles” – ユニークな最善の動作のシーケンスが決定可能な中間ゲームボード(例えば、強制チェックメイトにつながる動きのシーケンス)をコンパイルする。 0.77
From this database, we compiled labeled data where the inputs are 8 × 8 × 12 arrays indicating the position of each piece on the board (one channel per piece type and color) and the outputs are 8 × 8 binary masks showing the origin and destination positions for the optimal move. このデータベースから、入力がボード上の各ピースの位置を示す8×8×12配列(ピースタイプと色毎に1チャンネル)で、出力が最適な移動の原点と目的地を示す8×8バイナリマスクであるラベル付きデータをコンパイルする。 0.78
See the example in Figure 3, where it is white to move and the solution to the puzzle is to move the queen from F3 to F7. 図3の例では、動くのが白で、パズルの解は女王をF3からF7に移すことである。 0.66
The puzzles each have a difficulty rating determined by an Elo-like system (a standard system for rating players using tournament play) [Elo, 1978]. それぞれのパズルは、eloライクなシステムによって決定される難易度を持っている [elo, 1978]。 0.45
When Lichess users, each with an Elo rating, attempt to solve the puzzle, the rating of the player and puzzle is updated as if they “played” against each other. LichessのユーザがそれぞれEloの格付けでパズルを解こうとすると、プレーヤーとパズルの格付けは、まるで互いに“対戦”しているかのように更新される。 0.61
After enough players encounter the puzzle, the rating of the puzzle reaches an equilibrium which gets recorded in the database. 十分なプレイヤーがパズルに遭遇すると、解のレーティングはデータベースに記録される平衡に達する。 0.65
We use these ratings to distinguish between easy and hard; 私たちはこれらの評価を使って、簡単さと困難さを区別します。 0.49
Figure 2: An example maze input and target. 図2: mazeの入力とターゲットの例。 0.80
The target is a binary classification label for each pixel indicating on/off the optimal path. ターゲットは、最適経路のオン/オフを示す各画素のバイナリ分類ラベルである。 0.74
Figure 3: An example of a chess puzzle input (left) and target (right). 図3:チェスパズルの入力(左)とターゲット(右)の例。 0.53
In the target, white represents one and black is zero. 目標では、白は1、黒は0を表す。 0.80
3 3 0.85
英語(論文から抽出)日本語訳スコア
600,000 puzzles of difficulty rating less than 1,385 are used for training, and testing is performed on 100,000 examples with ratings greater than 1,385. 600,000の難易度が1,385未満のパズルがトレーニングに使われ、テストは1,385以上の評価を持つ10万の例で行われる。 0.66
Our models output a confidence score between zero and one for each square on the board. 私たちのモデルは、ボード上の各四角に対して0と1の信頼スコアを出力します。 0.63
We take the two highest scores and compare their locations to the target to measure correctness – only exact matches are considered correct. 2つの最高点を取得し、それらの位置を目標と比較して正しさを測定します。 0.59
3 Model Architectures & Training 3 モデルアーキテクチャとトレーニング 0.75
In all of the experiments in this work, we employ network architectures based on ResNets [He et al , 2016]. この研究におけるすべての実験では、ResNets [He et al , 2016]に基づくネットワークアーキテクチャを採用しています。 0.79
Our feed-forward networks are slight deviations from the most commonly used ResNets, in that the width does not change except at the first layer and after the last residual block, and we do not use batch normalization. 我々のフィードフォワードネットワークは、第1層と最後の残差ブロック以外は幅が変化せず、バッチ正規化を使用しないという点で、最も一般的に使われているResNetsからわずかにずれている。 0.76
This is done so that the recurrent models, whose internal recurrent module has the same input and output dimensions, can be as similar as possible to the feed-forward ResNets. これは、内部のリカレントモジュールが入力と出力の次元が同じであるリカレントモデルが、フィードフォワードのResNetと可能な限り類似するように行われる。
訳抜け防止モード: これは、内部のリカレントモジュールであるリカレントモデルが実行されるように行われる 入力と出力の次元は同じです フィード - forward ResNets と可能な限り似ている。
0.78
In fact, the only difference during training between a feed-forward and recurrent model of the same effective depth is that the weights are shared between the residual blocks in the recurrent models. 実際、同じ有効深さのフィードフォワードモデルとリカレントモデルの間のトレーニングにおける唯一の違いは、リカレントモデルの残留ブロック間で重みが共有されていることである。 0.74
We refer to the recurrent portion of the network as the recurrent module. ネットワークのリカレント部分をリカレントモジュールと呼ぶ。 0.38
Also, our models are fully convolutional with no fully connected heads. また、私たちのモデルは完全に畳み込み、完全に接続された頭がない。 0.57
For solving prefix sums, which involves onedimensional strings, we further deviate from classical ResNets by using one-dimensional convolutions. 一次元の文字列を含むプレフィックス和を解くために、一次元の畳み込みを用いて古典的ResNetからさらに逸脱する。 0.45
For complete architectural details, see Appendix A.2. アーキテクチャの詳細は、appendix a.2を参照。 0.65
We measure recurrent models in terms of iterations and effective depth. 反復と有効深度の観点から繰り返しモデルを計測する。 0.69
An iteration is a repetition of the recurrent residual block, which contains four layers in all of our models. イテレーションは、すべてのモデルに4つのレイヤを含む、繰り返し発生する残差ブロックの繰り返しです。 0.72
Therefore, the effective depth is equal to four times the number of iterations, plus non-recurrent encoder and head layers that sandwich the recurrent module. したがって、有効深さは反復回数の4倍であり、また、繰り返しモジュールを挟む非繰り返しエンコーダとヘッド層である。 0.73
For example, the models used for computing prefix sums have one convolutional encoder layer, followed by the recurrent block and then by a three layer convolutional head. 例えば、プレフィックス和の計算に用いられるモデルは1つの畳み込みエンコーダ層を持ち、次に繰り返しブロック、次に3つの層畳み込みヘッドを持つ。 0.72
In this case, a 10-iteration model has effective depth 1 + 10 × 4 + 3 = 44 layers. この場合、10次元模型は、有効深さ 1 + 10 × 4 + 3 = 44 の層を持つ。 0.84
For each training sample we consider, the label as an array of binary classification variables, one per input pixel. 我々が検討する各トレーニングサンプルでは、ラベルは入力ピクセルごとに1つのバイナリ分類変数の配列である。 0.75
The training loss is simply the mean cross-entropy loss across output values. トレーニング損失は、単に出力値を越えた平均クロスエントロピー損失である。 0.71
In general, hyperparameters were determined with the goal of finding convergent models. 一般に、ハイパーパラメータは収束モデルを見つけることを目的として決定された。 0.63
The specific batch sizes, learning rate and decay schedules, and other hyperparameter values are all available in Appendix A.3.1 特定のバッチサイズ、学習率、崩壊スケジュール、その他のハイパーパラメータ値は、すべてAppendix A.3.1で利用可能である。 0.63
4 Recurrent Networks Can Generalize from Easy to Hard Problems 4つのリカレントネットワークは、簡単から難しい問題に一般化できる 0.66
We explore the ability of recurrent neural networks to generalize to more difficult problems simply by thinking deeper. 我々は、より深く考えるだけで、より難しい問題に一般化するリカレントニューラルネットワークの能力を探る。
訳抜け防止モード: 我々はリカレントニューラルネットワークの能力を探究する より深く考えることで より難しい問題を一般化するのです
0.78
To this end, we train models of varying effective depth on easy training examples and test them on harder problems. この目的のために,簡単なトレーニング例で有効な深さのモデルをトレーニングし,難しい問題に対してテストする。 0.66
We find that recurrent models are even better at generalizing from easy to hard than their feed-forward counterparts. リカレントモデルの方が、フィードフォワードモデルよりも簡単からハードに一般化されていることが分かりました。 0.52
While there is only one way to test the feed-forward models, we take a closer look at what happens when the recurrent models are allowed to think deeper about the harder problems. フィードフォワードモデルをテストする方法は1つしかないが、リカレントモデルが難しい問題についてより深く考えることを許されたときに何が起こるか、詳しく調べる。 0.70
Formally, we use more iterations of the recurrent module within the recurrent models when performing inference on test data. 正式には、テストデータで推論を行う際に、リカレントモデル内でリカレントモジュールのイテレーションをより多く使用します。 0.59
Across all three problem types, we find that the confidence of the model is a good surrogate for correctness. これら3つの問題種別において,モデルの信頼性は正当性に対してよい代理となる。 0.70
Therefore, when evaluating recurrent models, we use the output from the iteration to which the network assigns the highest confidence. したがって、繰り返しモデルを評価する際には、ネットワークが最も信頼度の高いイテレーションからの出力を用いる。 0.83
4.1 Prefix Sums 4.1プレフィックス和 0.59
The first task on which we demonstrate the ability of recurrent neural networks to learn an algorithm is one from the classical algorithms literature, namely computing prefix sums. アルゴリズムを学習するための再帰的ニューラルネットワークの能力を示す最初のタスクは、古典的なアルゴリズムの文献、すなわちプレフィックス和の計算からである。 0.86
Specifically, we study the problem of computing the prefix sums modulo two of binary input strings. 具体的には,二元入力文字列の接頭辞和2を演算する問題について検討する。 0.58
When computing prefix sums, we employ models with effective depths from 40 to 68 layers. プレフィックス和を計算する際、40層から68層までの有効深さを持つモデルを用いる。 0.70
We train models on easy data consisting of 32-bit input strings and test on harder 40-bit and 44-bit strings. 32ビットの入力文字列からなる簡単なデータでモデルをトレーニングし、より難しい40ビットと44ビットの文字列でテストします。 0.58
In Table 1, it is clear that even when holding the depth constant at test time, recurrent models generalize from easy to hard better than feed-forward networks. 表1では、テスト時に深さ定数を保持する場合でも、再帰モデルはフィードフォワードネットワークよりも簡単から困難に一般化される。 0.76
1Code to reproduce our experiments along with information about downloading the data we use is available 1Codeで実験を再現し、使用するデータのダウンロード情報も利用可能です。 0.79
at https://github.com/a ks2203/easy-to-hard. https://github.com/a ks2203/easy-to-hard。 0.36
4 4 0.85
英語(論文から抽出)日本語訳スコア
Table 1: Extrapolating to longer input strings. 表1: 長い入力文字列への外挿。 0.75
Shown here are the average accuracies of models trained on 32-bit inputs and tested on 40-bit inputs. ここでは、32ビット入力でトレーニングされ、40ビット入力でテストされたモデルの平均精度を示す。 0.60
The effective depths listed below correspond to 9, 10, and 11 iterations in recurrent models. 以下に示す有効深さは、反復モデルにおける9、10および11の反復に対応する。 0.72
We report average accuracy ± one standard error. 平均精度±1標準誤差を報告する。 0.75
Recurrent Feed-forward リカレントフィードフォワード 0.50
40 24.96 ± 2.96 22.17 ± 0.85 40 24.96 ± 2.96 22.17 ± 0.85 0.70
44 31.02 ± 2.56 24.78 ± 1.65 44 31.02 ± 2.56 24.78 ± 1.65 0.70
Effective Depth (Layers) 48 有効深さ(層) 48 0.84
35.22 ± 3.34 22.79 ± 1.32 35.22 ± 3.34 22.79 ± 1.32 0.55
Figure 4: Generalizing from easy to hard prefix sums. 図4: 簡単なプレフィックス和から難しいプレフィックス和への一般化。 0.56
The ability of networks to compute prefix sums on two test sets with longer input strings than were used for training (accuracy on 40-bit inputs in purple and on 44-bit inputs in red). トレーニングで使用されるよりも長い入力文字列を持つ2つのテストセット(紫で40ビット入力、赤で44ビット入力)のプレフィックス和を計算するネットワークの能力。 0.81
We compare recurrent models to the best feed-forward models of comparable effective depth. 我々は,再生モデルと同等の有効深さのフィードフォワードモデルを比較した。 0.67
The markers are at average values from several trials and the shaded regions indicate ± one standard error. マーカーはいくつかの試行からの平均値であり、陰影領域は±1の標準誤差を示す。 0.62
When the thought budget, or number of iterations, is increased, we see that recurrent models can get upwards of 90% of the harder testing examples correct. 思考予算(あるいはイテレーションの数)が増加すると、反復モデルがより難しいテスト例の90%以上を正しく得ることがわかります。 0.67
In Figure 4, we observe this large boost in the recurrent models’ performance and a vast difference in the accuracy of recurrent models (with added iterations at test time) and feed-forward networks. 図4では、リカレントモデルの性能のこの大きな向上と、(テスト時にイテレーションを追加して)再カレントモデルとフィードフォワードネットワークの精度の大きな違いを観察します。 0.78
Note that the dotted lines represent the average accuracy of the deepest feed-forward networks considered. 点線は、考慮されている最も深いフィードフォワードネットワークの平均精度を表している。 0.73
That depth is 68 layers, or the effective depth of recurrent models with 16 iterations, and we use this baseline in the plot specifically because in the range of depths corresponding to the numbers of iterations shown, these feed-forward models achieve the highest accuracy. この深さは68層,すなわち16回の反復を伴う実効的な再帰モデルの深さであり,このベースラインをプロットに用いたのは,各反復数に対応する深さの範囲において,これらのフィードフォワードモデルが最も精度が高いためである。 0.79
In other words, recurrent models trained with relatively few iterations generalize well to harder data while similar and even much larger feed-forward networks fail to generalize in the same scenario. 言い換えれば、比較的少数の反復で訓練されたリカレントモデルは、より難しいデータによく一般化するが、類似した、さらに大きなフィードフォワードネットワークは同じシナリオで一般化することができない。 0.61
The generalization we see in Figure 4 indicates that these recurrent models learn processes that can be extended to harder problems by running for more iterations. 図4に示す一般化は、反復するモデルは、より多くのイテレーションを実行することで、より難しい問題に拡張できるプロセスを学びます。 0.69
In particular, the recurrence is both the machinery that allows for varying the depth at test time, as well as a force at training to push the model to find parameters that make progress toward a solution with each reuse. 特に、再発は、テスト時の深さの変化を可能にする機械と、各再利用でソリューションに向かって進行するパラメータを見つけるためにモデルをプッシュする訓練の力の両方である。 0.70
When these results are viewed through the lens of algorithm design, one might wonder how the receptive field, or the number of entries in the input that determine a single entry in the output, affects these models. これらの結果がアルゴリズム設計のレンズを通して見るとき、受容場や出力の1つのエントリを決定する入力のエントリ数がこれらのモデルにどのように影響するか疑問に思うかもしれない。 0.80
The feed-forward models, whose accuracies are shown in Figure 4, have the same receptive field as the recurrent models when tested with 16 iterations. フィードフォワードモデルは、図4に示すような精度を持つモデルで、16回のイテレーションでテストした場合、リカレントモデルと同じ受容場を持つ。 0.69
This makes it clear that the increase in accuracy of recurrent models does not simply occur because the receptive field grows with added iterations, rather it occurs because they have learned a process that can extrapolate beyond the training distribution. これは、リカレントモデルの精度の向上は、単に受容野が追加のイテレーションで増加するためではなく、トレーニング分布を超えて外挿可能なプロセスを学んだことによって起こることを明らかにしている。 0.69
Further discussion on receptive field is presented in Appendix B. 受容体に関するさらなる議論は、 appendix b で示される。 0.60
5 10111213141516Test-T ime Iterations0204060801 00Accuracy (%)Models Trained With 10 Iterations on 32-bit DataRecurrent, 40-bit dataRecurrent, 44-bit dataFeed-Forward, 40-bit dataFeed-Forward, 44-bit dataTraining Regime 5 10111213141516 Test-Time Iterations0204060801 00 Accuracy (%)Models Trained With 10 Iterations on 32-bit Data Recurrent, 40-bit data Recurrent, 44-bit dataFeed-Forward, 40-bit dataFeed-Forward, 44-bit dataTraining Regime 0.75
英語(論文から抽出)日本語訳スコア
4.1.1 Iterative Outputs 4.1.1 反復出力 0.54
One way to dissect the learned process and compare it to known algorithms is to plot the confidence of the model at each iteration. 学習したプロセスを識別し、既知のアルゴリズムと比較する1つの方法は、イテレーション毎にモデルの信頼性をプロットすることだ。 0.77
In Figure 5, we show a representative example of a network’s confidence that each bit in the output is a one. 図5では、出力の各ビットが1であるというネットワークの信頼性の代表的な例を示します。 0.81
Two striking observations can be made from this figure. この図から2つの顕著な観察ができる。 0.75
The first is that the model is progressing to the solution with each iteration. 1つ目は、各イテレーションでモデルがソリューションに進歩していることです。 0.71
The second observation is that it is resolving the prefix sum in the earlier bits first and moving down the string, settling on the final bits only in the last iteration. 2つ目の観察は、前のビットのプレフィックス和を最初に解決し、最後のイテレーションでのみ最終ビットに固定して文字列を下方へ移動することである。 0.75
This is remarkably similar to a naive algorithm one might implement for this task that marches from the first index until the end of the string computing prefix sums in order. これは、このタスクのために実装されるナイーブなアルゴリズムと非常に似ており、最初のインデックスから文字列演算プレフィックスの和が順番に終わるまで行進する。 0.77
Figure 5: A recurrent model’s output from each of 11 iterations on a 40-bit input string. 図5: 40ビット入力文字列上の11イテレーション毎の繰り返しモデルの出力。 0.71
Shown here is the confidence that there is a 1 at each index of the output. ここで示すのは、出力の各インデックスに1が存在するという自信です。 0.76
The first index is at the top for all vectors, the input is in the left-most column and the target is in the right-most column. 第1のインデックスは、すべてのベクトルの先頭にあり、入力は、最左側の列であり、ターゲットは、最右側の列である。 0.78
The model used to produce this plot was trained with fewer iterations (10) on shorter input strings (32-bit). このプロットを生成するために使用されるモデルは、短い入力文字列 (32ビット) のイテレーション (10) を減らして訓練された。 0.65
4.2 Mazes For maze solving, we train models on a training set composed of the easier small mazes, and we investigate the ability of networks to make the leap to larger, or harder, mazes at test time. 4.2迷路 mazeの解法として,より簡単な小さなmazeで構成されたトレーニングセットでモデルをトレーニングし,テスト時により大きく,あるいはより難しいmazeに跳躍するネットワークの能力について検討した。 0.67
In line with the findings above, we show two important behaviors. 以上の結果と一致して,2つの重要な行動を示す。 0.69
First, the recurrent models make the leap from small to large mazes better than feed-forward models. まず、リカレントモデルによって、フィードフォワードモデルよりも小さな迷路から大きな迷路へと飛躍する。 0.71
Second, when allowed to think deeper, the recurrent models exhibit even higher performance. 第二に、より深く考えることができれば、繰り返し発生するモデルはより高いパフォーマンスを示す。 0.61
The networks employed here are fully convolutional and have 512 channels in the internal layers. ここで使用されるネットワークは完全に畳み込み、内部層に512のチャネルがある。 0.73
In assessing the confidence of a given output, we average each pixel’s classification confidence. 与えられた出力の信頼度を評価する際、各ピクセルの分類信頼度を平均する。 0.75
Table 2: The average accuracy (%) of models trained on small mazes and tested on large ones. 表2: 小さな迷路で訓練され、大きな迷路でテストされたモデルの平均精度(%)。 0.79
Over a range of effective depths, we see that recurrent models generalize to the harder mazes better than their feed-forward counterparts. 様々な効果的な深さにわたって、リカレントモデルがフィードフォワードモデルよりも難しい迷路に一般化しているのがわかります。 0.56
Figures reflect averages over several trials ± one standard error. 図は、いくつかの試行 ± 1 標準誤差の平均を反映する。 0.57
Recurrent Feed-forward リカレントフィードフォワード 0.50
20 12.66 ± 0.44 7.94 ± 0.36 20 12.66 ± 0.44 7.94 ± 0.36 0.70
24 14.02 ± 0.39 12.43 ± 0.50 24 14.02 ± 0.39 12.43 ± 0.50 0.70
Effective Depth 19.95 ± 0.31 14.67 ± 0.54 有効深度 19.95 ± 0.31 14.67 ± 0.54 0.61
28 36 22.96 ± 1.03 17.71 ± 0.36 28 36 22.96 ± 1.03 17.71 ± 0.36 0.75
44 29.72 ± 1.22 22.53 ± 1.14 44 29.72 ± 1.22 22.53 ± 1.14 0.70
Table 2 shows that for a fixed effective depth, recurrent models always generalize to the hard mazes better than their feed-forward counterparts. 表2は、固定された有効深さでは、リカレントモデルはフィードフォワードよりも常にハード迷路に一般化されることを示している。 0.60
Inspired by the upward trend in Table 2, we shift focus to deeper models. テーブル2の上昇傾向に触発され、焦点をより深いモデルにシフトします。 0.71
In Figure 6, we show that recurrent models can extrapolate to harder problems better than feed forward models. 図6では、反復モデルがフィードフォワードモデルよりも難しい問題に外挿可能であることを示します。 0.76
When trained on small mazes with 20 iterations (effective depth of 84 layers), these networks can solve about half of large mazes. 20のイテレーション(有効深さ84層)を持つ小さな迷路でトレーニングすると、これらのネットワークは大きな迷路の約半分を解決できる。 0.69
However, when allowed to think しかし 考えることが許されたら 0.77
6 Inp.140Index#1#2#3#4 #5#6#7#8#9#10#11Tar. 01Iterations 6 Inp.140Index#1#2#3#4 #5#6#8#9#10#11Tar.01 Iterations 0.91
英語(論文から抽出)日本語訳スコア
for longer, the recurrent models can correctly solve an even higher proportion of large mazes. 長期的には、リカレントモデルにより、より大きな迷路のより高い割合を正しく解くことができる。 0.60
In fact, models trained with 20 iterations can achieve upward of 70% accuracy on large mazes using 5 additional iterations at test time. 実際、20のイテレーションでトレーニングされたモデルは、テスト時に5つの追加イテレーションを使用して、大きな迷路で70%の精度を達成できます。 0.59
Figure 6: Generalizing from easy to hard mazes. 図6: 簡単から難しい迷路への一般化。 0.79
We compare recurrent models to the best feedforward models. 反復モデルと最適なフィードフォワードモデルを比較する。 0.71
The markers are at average values from several trials and the shaded regions indicate ± one standard error. マーカーはいくつかの試行からの平均値であり、陰影領域は±1の標準誤差を示す。 0.62
Maze solving is another task for which global information is needed. 迷路解決は、グローバル情報を必要とする別のタスクである。 0.69
We investigate how dilated filters affect model performance. 拡張フィルタがモデル性能に与える影響について検討する。 0.58
Dilation is a way of changing the receptive field without adding new parameters or more depth. 拡張(dilation)は、新しいパラメータや深さを加えることなく受容野を変更する方法である。
訳抜け防止モード: 拡張とは 新しいパラメータや深さを追加することなく、受容フィールドを変更する。
0.72
Table 3 shows that dilations lead to slight improvements, however, the benefits of recurrence are still abundantly clear. 表3は拡張がわずかな改善をもたらすことを示しているが、再発の利点は依然として十分明らかである。 0.65
Indeed, the difference in performance is even larger. 実際、パフォーマンスの差はさらに大きいです。 0.72
Table 3: The average accuracy (%) of models with dilated filters trained on small mazes and tested on large ones. 表3: 小さな迷路で訓練され、大きな迷路でテストされた拡張フィルタを用いたモデルの平均精度(%)。 0.74
Figures reflect averages over several trials ± one standard deviation. 図はいくつかの試行平均 ± 1 標準偏差を反映している。 0.57
Recurrent Feed-forward リカレントフィードフォワード 0.50
20 33.60 ± 1.06 19.73 ± 0.72 20 33.60 ± 1.06 19.73 ± 0.72 0.70
Effective Depth 40.49 ± 1.63 21.59 ± 0.22 有効深度40.49 ± 1.63 21.59 ± 0.22 0.60
24 28 33.91 ± 1.99 24.18 ± 1.33 24 28 33.91 ± 1.99 24.18 ± 1.33 0.75
4.2.1 Iterative Outputs 4.2.1 反復出力 0.55
The recurrent maze solving networks also produce output at every iteration. 繰り返し発生する迷路解決ネットワークも、イテレーション毎に出力を生成する。 0.67
Examining this output again leads to a remarkable conclusion: these recurrent models are narrowing in on the answer with each successive iteration. このアウトプットをもう一度調べると、驚くべき結論が得られます。これらのリカレントモデルでは、各イテレーションで回答を狭めています。
訳抜け防止モード: この出力をもう一度調べる 驚くべき結論を導きます これらのリカレントモデルは 繰り返しの繰り返しで答えを絞り込んでいます
0.78
In Figure 7, it is clear from the output on iteration four that the network has found two routes emanating form the red square. 図7では、イテレーション4のアウトプットから、ネットワークが赤い四角形から発する2つの経路を発見したことは明らかです。 0.81
Moving through the iterations, the model refines the output, increasing the confidence for pixels on the path and decreasing the others until finally at Iteration #7, the output matches the target. イテレーションを経たモデルでは、出力を洗練し、パス上のピクセルに対する信頼性を高め、最後にイテレーション#7で出力がターゲットにマッチするまで他のピクセルを減少させる。 0.69
It is also interesting to observe here that the output is consistently correct for two iterations, after which a few pixels flip (Iteration #9). ここでも、2回のイテレーションで出力が一貫して正しくなり、その後数ピクセルが反転する(iteration #9)ことが興味深い。 0.70
4.3 Chess Puzzles 4.3 チェスパズル 0.51
The third dataset comprises chess puzzles, or mid-game chess boards for which we seek the best next move. 第3のデータセットは、チェスパズル、またはゲームの中間のチェスボードで構成されています。 0.59
Unlike the other two datasets, the state-of-the-art for chess playing algorithms is complex and has components that use algorithms like Monte Carlo tree search as well as neural network based elements for evaluating positions [Romstad et al , Silver et al , 2017]. 他の2つのデータセットとは異なり、チェスプレイアルゴリズムの最先端技術は複雑であり、モンテカルロ木探索のようなアルゴリズムと、[romstad et al , silver et al , 2017]位置を評価するニューラルネットワークベースの要素を使用するコンポーネントを持っている。 0.74
The complicated nature of these systems provides some context for how difficult these puzzles are. これらのシステムの複雑な性質は、これらのパズルがいかに難しいかの文脈を提供する。 0.63
What makes these puzzles particularly useful for us is that there is a predetermined best next move. これらのパズルが私たちにとって特に役立つのは、決められた最良の次の動きがあるということです。 0.51
A move is defined as an origin square, or the current location of the piece to be moved, and a destination square.2 In order to 2There are some cases, pawn promotions, where this information does not uniquely identify the move, and 移動は、原点の正方形、または移動対象の現在位置と定義され、目的地の正方形.2は、2に対して、その移動を一意に特定しないポーンプロモーションを行う場合と、がある。 0.75
they are overlooked in this project. このプロジェクトには見落としています 0.65
7 2021222324252627Test -Time Iterations0204060801 00Accuracy on Large Mazes (%)Models Trained With 20 Iterations on Small MazesRecurrentFeed-F orwardTraining Regime 7 2021222324252627 Test-Time Iterations0204060801 00 Accuracy on Large Mazes (%) Models Trained with 20 Iterations on Small Mazes RecurrentFeed-Forwar dTraining Regime 0.82
英語(論文から抽出)日本語訳スコア
Figure 7: Input, target, and outputs form different iterations are shown to highlight the model’s ability to think sequentially about mazes. 図7: 入力、ターゲット、出力が異なるイテレーションを形成することで、モデルが迷路についてシーケンシャルに考える能力を強調します。 0.75
We plot the model’s confidence that each pixel belongs to the optimal path. 各ピクセルが最適なパスに属するというモデルの信頼をプロットします。 0.75
This is a representative example from a model trained to solve small mazes in six iterations. これは、6つの反復で小さな迷路を解くために訓練されたモデルの代表的な例である。 0.62
generate target outputs for our models, we define a move as an 8 × 8 array with zeros everywhere except at the entries corresponding to the origin and destination squares which are ones. モデルに対してターゲット出力を生成し、原点および宛先正方形に対応するエントリを除いて、移動をゼロの8×8配列として定義する。
訳抜け防止モード: 我々のモデルに対する目標出力を生成します 移動を 8 × 8 の配列として定義するが、原点と宛先正方形に対応するエントリを除いては至る所ゼロである。
0.85
We compare recurrent and feed-forward networks of effective depths from 84 layers to 100 layers that take 8 × 8 × 12 arrays as input. 8×8×12の配列を入力とする84層から100層までの有効深度のリカレントネットワークとフィードフォワードネットワークを比較した。 0.78
These fully convolutional networks have 512 channels in the internal layers, and the output is 8 × 8 × 2, corresponding to binary classification at each input pixel. これらの完全畳み込みネットワークは内部層に512のチャネルを持ち、出力は8×8×2であり、各入力ピクセルのバイナリ分類に対応する。 0.83
During training, we use an average of cross-entropy losses at every pixel. トレーニングでは、各ピクセルで平均的なクロスエントロピー損失を使用します。 0.71
When evaluating these models, however, we define the predicted move by the locations of the two highest confidence scores. しかし、これらのモデルを評価する際には、2つの最高信頼度スコアの位置による予測移動を定義する。 0.71
Figure 8: Generalizing from easy to hard chess puzzles. 図8: 簡単なチェスパズルから難しいチェスパズルへの一般化。 0.51
The ability of networks to solve harder puzzles than were used for training. ネットワークはトレーニングに使用されるよりも難しいパズルを解くことができる。 0.78
We compare recurrent models to the best feed-forward models of comparable effective depth. 我々は,再生モデルと同等の有効深さのフィードフォワードモデルを比較した。 0.67
The markers are at average values from several trials and the shaded region indicate ± one standard error. マーカーはいくつかの試行の平均値であり、陰影領域は±1の標準誤差を示す。 0.66
Once again, we see that recurrent models can solve more chess puzzles than their feed forward counterparts. 繰り返すが、リカレントモデルでは、フィードフォワードのパズルよりも多くのチェスパズルを解決できる。 0.53
Furthermore, by thinking deeper at test time, recurrent models can perform even better. さらに、テスト時に深く考えることで、リカレントモデルはさらにパフォーマンスが向上する。 0.66
While the gains shown in Figure 8 are modest in comparison to the other two problem settings, the trend is clear – recurrent models can solve more puzzles with more iterations. 図8で示される利益は、他の2つの問題設定と比べて控えめだが、トレンドは明確である。
訳抜け防止モード: 図8に示す利得は、他の2つの問題設定と比べて控えめである。 傾向は明らかだ リカレントモデルは より多くの繰り返しで パズルを解くことができます
0.76
4.3.1 Iterative Outputs 4.3.1 反復出力 0.54
While the outputs from the other two datasets show the similarity between the learned iterative process and known sum and search algorithms, extracting that insight on chess puzzles is much more difficult. 他の2つのデータセットからのアウトプットは、学習された反復過程と既知の和と探索アルゴリズムの類似性を示しているが、チェスパズルについての洞察はより難しい。 0.71
Partly, this is because exploiting known search algorithms on such a large search space is hard to visualize. これは、そのような巨大な検索空間で既知の検索アルゴリズムを利用するのは、可視化が難しいためである。 0.71
Nonetheless, the network’s output, shown in Figure 9, tells a fascinating story. それでも図9に示すように、ネットワークのアウトプットは魅力的な物語だ。 0.73
First, the Iteration #1 plot shows that after one iteration, we observe equal confidence at every location on まず、イテレーション#1プロットは、1回のイテレーションの後、すべての場所において等しい信頼を観察することを示している。 0.47
8 Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target0174.174.374 .574.774.9 Models Trained With 20 Iterations On Easy Puzzles2021222324Tes t-time Iterations61.063.065 .067.069.0Accuracy on Hard Puzzles (%)RecurrentFeed-for wardTraining regime 8 Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target0174.174.374 .574.774.9 Models Trained With 20 Iterations On Easy Puzzles 2021222324Test-time Iterations61.063.065 .067.069.0Accuracy on Hard Puzzles (%) RecurrentFeed-forwar dTraining regime 0.71
英語(論文から抽出)日本語訳スコア
Figure 9: Input, target, and outputs form different iterations are shown to highlight the model’s ability to think about the next move. 図9: 入力、ターゲット、出力が異なるイテレーションを形成することで、モデルが次の動きについて考える能力を強調します。 0.78
We plot the model’s confidence that each pixel is one of the two that define a move. 私たちは、各ピクセルが移動を定義する2つのうちの1つであるというモデルの自信をプロットします。 0.63
In this example, black is to move next. この例では、黒は次に動くことです。 0.75
For space consideration, iterations 2-14, which look like the first iteration, are left out of this plot. 空間を考慮した場合、最初のイテレーションのように見えるイテレーション2-14がこのプロットから外される。 0.73
More examples are available in Appendix C. さらなる例は appendix c で見ることができる。 0.71
the board. In the next frame, Iteration #15, it is clear that the model is considering moving the D8 rook to multiple squares, and it also considers the intuitive idea of using the E5 queen to place the white king in check on H2. ボードだ 次のフレームであるイテレーション#15では、モデルがD8ルークを複数の正方形に移動することを検討していることは明らかであり、また、E5クイーンを使って白の王をH2に固定するという直感的な考えも考慮している。
訳抜け防止モード: ボードだ 次のフレームであるイテレーション#15では、明らかに モデルはD8ルークを複数の正方形に移動することを検討している。 また直感的なアイデアは E5クイーンを使って、白の王をH2のチェックに入れます。
0.62
With each successive iteration, the network becomes more confident – first that the rook is the correct piece to move, and then where to move it to. 連続するイテレーションごとに、ネットワークはより自信を持つようになります。まずは、ルークが正しい部分であり、次にどこに移動するかです。 0.51
5 Discussion More than an answer, the results and conclusions in this paper are posing a question: Can learned models behave like classical algorithms in the way they generalize to harder or larger problems? 5 討論 学習したモデルは、より難しい問題やより大きな問題に一般化する方法において、古典的なアルゴリズムのように振る舞うことができるのか? 0.66
Our discussion of this question and our observations begins with delineating the limitations of our work. この質問と観察に関する我々の議論は、我々の仕事の限界を明らかにすることから始まります。 0.62
The first major limitation is that we do not propose a definitive answer. 最初の大きな制限は、決定的な答えを提案しないことです。 0.76
Rather, using representative cases, we demonstrate that recurrence can help neural models make the leap from easy training data to hard testing examples. むしろ、代表的な事例を用いて、神経モデルが簡単なトレーニングデータからハードテスト例へと飛躍するのに役立つことを実証する。 0.67
A more subtle limitation of our work lies in how we split the data by difficulty. 私たちの仕事のより微妙な制限は、データの分割を困難にする方法にあります。 0.71
For prefix sum computation and for mazes, the classical algorithms approach to measuring problem complexity is tied to problem size, so in those settings we make intuitive easy/hard splits. プレフィックス和計算や迷路の場合、従来のアルゴリズムでは問題の大きさを測る手法が問題の大きさに結びついているので、これらの設定では直感的に分割できる。
訳抜け防止モード: プレフィックス和計算や迷路の場合、問題の複雑性を測る古典的なアルゴリズムは問題の大きさと結びついている。 これらの設定では直感的で難しい分割を行います。
0.71
With chess however, the issue is much more complex. しかしチェスの場合、問題はずっと複雑である。 0.62
Should puzzles with higher ratings require more memory or more computation? 高い評価を持つパズルは、より多くのメモリまたはより多くの計算を必要とするか? 0.50
We carry out our work assuming the answer is yes, but we remain open minded to the possibility that the ratings assigned by Lichess may be weak surrogates for algorithmic complexity of each puzzle. 答えはイエスであると仮定して仕事を遂行するが、各パズルのアルゴリズム的複雑性に対して、リッシュによって割り当てられた格付けが弱いサロゲートになる可能性に対して、私たちは引き続きオープンに考えています。
訳抜け防止モード: 私たちはその答えがイエスであると仮定して仕事をしている。 しかし私たちは Lichessによって割り当てられた評価は、各パズルのアルゴリズム上の複雑さに対して弱いサロゲートであるかもしれない。
0.56
In short, chess is an extremely difficult domain to analyze. 要するに、チェスは分析が非常に難しい分野だ。 0.59
The observations above indicate that iterative models can learn processes that generalize beyond the training distribution with more iterations. 上記の観察は、反復モデルがより多くのイテレーションでトレーニング分布を超えて一般化したプロセスを学習できることを示している。 0.63
One exciting use case is when the testing distribution is inaccessible, a setting where training on the harder distribution itself would be impossible. ひとつのエキサイティングなユースケースは、テストディストリビューションがアクセスできない場合、より難しいディストリビューション自体のトレーニングが不可能な設定です。 0.66
Many real life scenarios demand exactly this type of problem solving, from robots deployed in the real world after training in simulation to humans who spend a lot of time practicing on easy math problems only to spend years on difficult unsolved questions. 多くの現実のシナリオは、シミュレーションでトレーニングした後、現実世界に展開されたロボットから、難しい未解決の質問に何年も費やすのに多くの時間を費やしている人間まで、まさにこの種の問題解決を必要としている。
訳抜け防止モード: 多くの現実のシナリオは、まさにこの種の問題解決を必要とします。 シミュレーションの訓練を経て 現実世界に展開されたロボットから 簡単な数学の問題を練習するのに 長い時間を費やした
0.77
On a conceptual level, the recurrent model behavior we show is analogous to the human behavior of manipulating representations in working memory; in this analogy, the recurrent block performs the transformations and the activations it generates are the memory. 概念レベルでは、リカレントモデル行動は、作業記憶における表現を操作する人間の行動と類似しており、この類似性において、リカレントブロックは変換を行い、それが生成するアクティベーションはメモリである。 0.75
It is not the goal of the experiments here to suggest that iterative models use mechanisms similar to those in a human brain. この実験の目的は、反復モデルが人間の脳と同様のメカニズムを使っていることを示唆するものではない。 0.84
Nonetheless, it is exciting to see, even in a proof of concept setting, neural models that appear to deliberate on a problem until it is solved and can extend their abilities by thinking for longer. それでも、概念実証においてさえも、問題が解決されるまで熟考しているように見える神経モデルが、より長く考えながらその能力を拡張することができるのは、エキサイティングです。 0.75
This raises a questions that motivates future work. これは将来の仕事のモチベーションとなる疑問を提起する。 0.61
Can we build neural networks that can think for even longer? もっと長く考えることのできるニューラルネットワークを構築できるだろうか? 0.79
Is it feasible to have models whose performance only increases with added compute time? 追加の計算時間でのみパフォーマンスが向上するモデルを持つことは可能か? 0.84
Humans who are given more than enough time to solve a maze, will not suddenly get it wrong after arriving at the right answer, perhaps this awareness of when to stop thinking can be built into networks like the ones we study here. 迷路を解くのに十分な時間を与えられている人間は、正しい答えにたどり着いた後、突然間違いを犯すことはないだろう。
訳抜け防止モード: 迷路を解くのに十分な時間を与える人間。 答えが正しかったら 突然 間違ってはならない。 我々がここで研究しているようなネットワークに いつ考えるのをやめるべきかという認識が 組み込まれているのかもしれません
0.72
9 Iteration #1Iteration #15Iteration #16Iteration #17Iteration #18Iteration #19Iteration #20Target01 9 Iteration #1Iteration #15Iteration #16Iteration #17Iteration #18Iteration #19Iteration #20Target01 0.82
英語(論文から抽出)日本語訳スコア
6 Conclusion In this work, we demonstrate that neural networks are capable of solving sequential reasoning tasks and then extrapolating this knowledge to solve problems of greater complexity than they were trained on. 6 結論 本研究では,ニューラルネットワークが逐次的推論タスクを解き,その知識を外挿して,学習よりも複雑な問題を解くことができることを示す。 0.74
These recurrent models are largely inspired by the classical theory of mind, in which the brain iteratively applies primitive strategies to solve complex problems over time [Baddeley, 2012]. これらのリカレントモデルは主に、脳が時間とともに複雑な問題を解決するために原始的な戦略を反復的に適用する古典的な心の理論に着想を得ている [baddeley, 2012]。 0.67
Interestingly, the resulting models excel at solving problems that are classically solved by hand-crafted algorithms; prefix sums are computed using reduction trees, mazes are classically solved by depth/breadth first search, and chess is solved by Monte-Carlo tree search. 結果として得られたモデルは,手作りアルゴリズムによって古典的に解かれる問題を解決するのに優れており,接頭辞和は還元木を用いて計算し,迷路は深さ/ブレッドス探索により古典解き,チェスはモンテカルロ木探索によって解く。 0.62
Even with the advances in machine learning that we have today, hand-crafted algorithms still play a role in state-of-the-art reasoning systems. 今日の機械学習の進歩にもかかわらず、手作りのアルゴリズムは依然として最先端の推論システムにおいて重要な役割を果たしている。 0.60
A prominent example is AlphaZero, which plays board games using Monte-Carlo tree search algorithms assisted by a learned pruning function [Silver et al , 2017]. 有名な例はAlphaZeroで、これはモンテカルロ木探索アルゴリズムを用いて学習プルーニング関数(Silver et al , 2017)でボードゲームをしている。 0.73
While moving away from this paradigm that includes hand-crafted elements is highly ambitious, this work suggests that it may be possible to train gameplay systems without building them on top of a hand-crafted tree search engine. 手作りの要素を含むこのパラダイムは、非常に野心的であるが、この研究は、手作りのツリー検索エンジンの上にそれらを構築せずにゲームプレイシステムを訓練できる可能性を示唆している。 0.62
In other words, it may be possible to machine-learn these algorithmic behaviors end-to-end. 言い換えれば、これらのアルゴリズムの振る舞いをエンドツーエンドで機械的に学習することができるかもしれない。 0.51
Acknowledgements This work was supported by the AFOSR MURI program, and ONR MURI program, DARPA GARD, and the National Science Foundation DMS program. 覚書 この研究は、AFOSR MURIプログラム、ONR MURIプログラム、DARPA GARD、National Science Foundation DMSプログラムによって支援された。 0.58
Also, we thank Avrim Blum for valuable discussion regarding algorithms and the prefix sum problem. また,アルゴリズムと接頭辞和問題に関する貴重な議論に対してavrim blumに感謝する。 0.67
References Md Zahangir Alom, Mahmudul Hasan, Chris Yakopcic, Tarek M Taha, and Vijayan K Asari. 参照: Md Zahangir Alom, Mahmudul Hasan, Chris Yakopcic, Tarek M Taha, Vijayan K Asari。 0.77
Recurrent residual convolutional neural network based on u-net (r2u-net) for medical image segmentation. 医用画像分割のためのu-net(r2u-net)に基づく残差畳み込みニューラルネットワーク 0.72
arXiv preprint arXiv:1802.06955, 2018. arXiv preprint arXiv:1802.06955, 2018 0.80
Alan Baddeley. Working memory: theories, models, and controversies. アラン・バドレー 作業記憶:理論、モデル、論争。 0.56
Annual review of psychology, 63:1–29, 2012. 心理学の年鑑。 63:1–29, 2012. 0.63
Alan D Baddeley and Graham Hitch. Alan D BaddeleyとGraham Hitch。 0.77
Working memory. In Psychology of learning and motivation, ワーキングメモリ。 学習とモチベーションの心理学において 0.69
volume 8, pages 47–89. 第8巻47-89頁。 0.52
Elsevier, 1974. 1974年、エルゼヴィエ。 0.64
Shaojie Bai, J Zico Kolter, and Vladlen Koltun. Shaojie Bai、J Zico Kolter、そしてVladlen Koltun。 0.72
Trellis networks for sequence modeling. シーケンスモデリングのためのトレリスネットワーク。 0.69
International Conference on Learning Representations, 2018. International Conference on Learning Representations 2018参加。 0.76
In Shaojie Bai, J Zico Kolter, and Vladlen Koltun. 院 Shaojie Bai、J Zico Kolter、そしてVladlen Koltun。 0.57
Deep equilibrium models. Advances in Neural 深層平衡モデル。 神経の進歩 0.62
Information Processing Systems, 32:690–701, 2019. 情報処理システム, 32:690–701, 2019。 0.75
Tamal Biswas and Kenneth Regan. Tamal BiswasとKenneth Regan。 0.75
Measuring level-k reasoning, satisficing, and human error in gameplay data. ゲームプレイデータにおけるレベルk推論、満足度、ヒューマンエラーの測定。 0.65
In 2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA), pages 941–947. 2015年、ieee 14th international conference on machine learning and applications (icmla), pages 941–947。 0.84
IEEE, 2015. 2015年、IEEE。 0.69
Arpad E Elo. Arpad E Elo 0.61
The rating of chessplayers, past and present. チェスプレーヤーの過去と現在のレーティング。 0.46
Arco Pub., 1978. アルコ、1978年。 0.51
Cristobal Eyzaguirre and Alvaro Soto. Cristobal EyzaguirreとAlvaro Soto。 0.79
Differentiable adaptive computation time for visual reasoning. 視覚的推論のための微分適応計算時間 0.70
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12817–12825, 2020. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 12817–12825, 2020。 0.93
Alex Graves. Alex Graves 0.60
Adaptive computation time for recurrent neural networks. リカレントニューラルネットワークのための適応計算時間 0.78
arXiv:1603.08983, 2016. arXiv:1603.08983, 2016 0.70
arXiv preprint arXiv プレプリント 0.83
K. He, X. Zhang, S. Ren, and J. K. He, X. Zhang, S. Ren, J。 0.87
Sun. Deep residual learning for image recognition. Sun 画像認識のための深い残差学習 0.67
In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016. 2016年IEEE コンピュータビジョンとパターン認識に関する会議(cvpr)、2016年770-778頁。 0.72
Christian Hill. クリスチャン・ヒル。 0.74
Making a maze, Apr 2017. 2017年4月、メジャーデビュー。 0.51
making-a-maze/. make-a-maze/ 0.41
URL https://scipython.co m/blog/ URL https://scipython.co m/blog/ 0.49
Gao Huang, Yu Sun, Zhuang Liu, Daniel Sedra, and Kilian Q Weinberger. Gao Huang氏、Yu Sun氏、Zhuang Liu氏、Daniel Sedra氏、Kilian Q Weinberger氏。 0.71
Deep networks with ディープネットワーク 0.43
stochastic depth. In European conference on computer vision, pages 646–661. 確率的深さ 欧州のコンピュータビジョン会議において、646–661頁。 0.64
Springer, 2016. スプリンガー、2016年。 0.60
10 10 0.85
英語(論文から抽出)日本語訳スコア
Andrew Jaegle, Felix Gimeno, Andrew Brock, Andrew Zisserman, Oriol Vinyals, and Joao Carreira. Andrew Jaegle、Felix Gimeno、Andrew Brock、Andrew Zisserman、Oriol Vinyals、Joao Carreira。 0.72
Perceiver: General perception with iterative attention. Perceiver: 反復的な注意を伴う一般的な認識。 0.61
arXiv preprint arXiv:2103.03206, 2021. arXiv preprint arXiv:2103.03206, 2021 0.81
Kohitij Kar, Jonas Kubilius, Kailyn Schmidt, Elias B Issa, and James J DiCarlo. Kohitij Kar, Jonas Kubilius, Kailyn Schmidt, Elias B Issa, James J DiCarlo 0.71
Evidence that recurrent circuits are critical to the ventral stream’s execution of core object recognition behavior. リカレント回路が中心となる物体認識行動の実行に重要であるという証拠がある。 0.67
Nature neuroscience, 22(6):974–983, 2019. 自然神経科学 22(6):974–983, 2019。 0.82
Yigitcan Kaya, Sanghyun Hong, and Tudor Dumitras. Yigitcan Kaya、Sanghyun Hong、Tudor Dumitras。 0.57
Shallow-deep networks: Understanding and mitigating network overthinking. 浅層深層ネットワーク:ネットワークの過度な理解と緩和。 0.75
In International Conference on Machine Learning, pages 3301–3310. 国際機械学習会議において、3301-3310頁。 0.76
PMLR, 2019. 2019年、PMLR。 0.72
Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut 0.69
In International Albert: A lite bert for self-supervised learning of language representations. 海外では albert: 言語表現の自己教師あり学習のためのlite bert。 0.70
Conference on Learning Representations, 2020. 2020年 学習表象会議開催。 0.67
Ming Liang and Xiaolin Hu. Ming LiangとXiaolin Hu。 0.70
Recurrent convolutional neural network for object recognition. 物体認識のための再帰畳み込みニューラルネットワーク 0.78
In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3367–3375, 2015. Proceedings of the IEEE conference on computer vision and pattern recognition, page 3367–3375, 2015 0.80
Qianli Liao and Tomaso Poggio. Qianli LiaoとTomaso Poggio。 0.69
Bridging the gaps between residual learning, recurrent neural 残差学習と繰り返し神経のギャップを埋める 0.65
networks and visual cortex. ネットワークと視覚野です 0.60
arXiv preprint arXiv:1604.03640, 2016. arXiv preprint arXiv:1604.03640, 2016 0.81
Lichess. Lichess open puzzles database. Lichess Lichess Open puzzlesデータベース。 0.63
https://database.lic hess.org/#puzzles, 2021. https://database.lic hess.org/#puzzles, 2021。 0.65
Accessed: 2021-04-01. アクセス:2021-04-01。 0.46
Reid McIlroy-Young, Siddhartha Sen, Jon Kleinberg, and Ashton Anderson. Reid McIlroy-Young、Siddhartha Sen、Jon Kleinberg、Ashton Anderson。 0.75
Aligning superhuman ai with human behavior: Chess as a model system. 人間の行動を伴う超人相のアライメント:モデルシステムとしてのチェス 0.66
In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pages 1677–1687, 2020. 第26回 ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, page 1677–1687, 2020 に参加して 0.85
Pedro Pinheiro and Ronan Collobert. ペドロ・ピニイロとロナン・コロベール 0.49
Recurrent convolutional neural networks for scene labeling. シーンラベリングのための繰り返し畳み込みニューラルネットワーク 0.72
In International conference on machine learning, pages 82–90. 院 機械学習に関する国際会議、82-90頁。 0.58
PMLR, 2014. 2014年、PMLR。 0.67
Tord Romstad, Marco Costalba, and et al Kiiski, Joona. Tord Romstad, Marco Costalba, et al Kiiski, Joona 0.68
Stockfish: A strong open source chess Stockfish: 強力なオープンソースチェス 0.67
engine. URL https://stockfishche ss.org/. エンジン URL https://stockfishche ss.org/ 0.60
David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, et al Mastering chess and shogi by self-play with a general reinforcement learning algorithm. David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, et al Mastering chess and Shogi by self-play with a general reinforcement learning algorithm。 0.87
arXiv preprint arXiv:1712.01815, 2017. arXiv preprint arXiv:1712.01815, 2017 0.79
11 11 0.85
英語(論文から抽出)日本語訳スコア
A Technical Details A.1 Datasets 技術的詳細 A.1 データセット 0.63
Details of the datasets we introduce are presented in this section. 紹介するデータセットの詳細は、この節で示します。 0.64
Specific details about generation as well as statistics from the resulting datasets are delineated for each one below. 生成に関する具体的な詳細と結果のデータセットからの統計は、下記の各データセットについて記述されている。 0.58
The datasets can all be downloaded from <suppressed for anonymity> and are available in the supplementary material. データセットはすべて<suppressed for anonymity>からダウンロードでき、補足資料で利用できる。 0.61
A.1.1 Prefix Sum Data A.1.1 Sum データの修正 0.54
Binary string inputs of length n are generated by selecting a random integer in [0, 2n) and expressing its binary representation with n digits. 長さnのバイナリ文字列入力は、[0, 2n)のランダム整数を選択し、そのバイナリ表現をn桁で表現することで生成される。
訳抜け防止モード: 長さnの2進文字列入力は、 0, 2n ) でランダム整数を選択し、その二進表現を n 桁で表現する。
0.83
Datasets are produced by repeating this random process 10,000 times without replacement. データセットは、このランダムなプロセスを置換せずに1万回繰り返すことで生成される。 0.55
Because the number of possible points increases exponentially as a function of n and the size of the generated dataset is fixed, it is important to note that the dataset becomes sparser in its ambient hypercube as n increases. 可能な点の数は n の関数として指数関数的に増加し、生成されたデータセットのサイズが固定されるので、n が増加するにつれてデータセットが周囲のハイパーキューブでスペーサーとなることに注意する必要がある。 0.63
Moreover, we are limited to datasets with binary strings of length n > 13 to avoid duplicate data points. さらに、重複するデータポイントを避けるために、長さn > 13の2進文字列を持つデータセットに限定される。 0.71
A.1.2 Maze Data A.1.2 迷路データ 0.50
The maze data is generated using a depth first search algorithm. 奥行き第一探索アルゴリズムを用いて迷路データを生成する。 0.76
A grid is initialized with walls at every cell boundary. グリッドは、各セル境界に壁によって初期化される。 0.65
Then, using depth first search from a starting cell, every cell is visited at least once, removing walls along the path. そして、まず開始セルから深さを探索し、各セルを少なくとも1回訪問し、経路に沿って壁を取り除く。 0.75
The algorithm is available in the attached code. アルゴリズムは添付コードで利用可能である。 0.75
The resulting dataset has non-uniformly distributed path lengths. 得られたデータセットは、一様でない分散パス長を持つ。 0.51
Also, this process does lead to duplicates, but fewer than 0.5% of points are duplicated and so this is ignored in our study. また、この過程は重複につながるが、0.5%未満の点が重複しているため、本研究では無視されている。 0.69
Figure 10: Example of small (left) and large(right) maze inputs and targets. 図10: 小さな(左)と大きな(右)迷路の入力とターゲットの例。 0.77
The target is a binary classification label for each pixel indicating on/off the optimal path. ターゲットは、最適経路のオン/オフを示す各画素のバイナリ分類ラベルである。 0.74
A.1.3 Chess Puzzle Data Starting position data from the Lichess database in FEN form are transformed into 8 × 8 × 12 arrays indicating the position of each piece on the board (one channel per piece type and color) to be used as inputs. a.1.3 チェスパズルデータ fen形式のリッシュデータベースからの開始位置データを8×8×12の配列に変換し、入力として使用するボード上の各ピースの位置(ピース種別1チャンネル、色別)を示す。 0.83
The first correct output moves in UCI move format are transformed into 8 × 8 binary masks showing the origin and destination positions for the optimal move and used as targets for the corresponding input. UCI移動フォーマットの最初の正しい出力移動は、最適な移動の起点と目的地位置を示す8×8のバイナリマスクに変換され、対応する入力のターゲットとして使用される。 0.81
More specific details about these transformations can be viewed the provided code. これらの変換に関するより詳細な情報は、提供されたコードを参照してほしい。 0.45
Lichess compiles puzzle data by analyzing 200,000,000 from their database of games between users using the Stockfish 12/13 NNUE chess engine at 40 meganodes. Lichessは、Stockfish 12/13 NNUEチェスエンジンを40メガノードで使用して、ユーザ間のゲームのデータベースから20万のパズルデータを解析することによって、パズルデータをコンパイルする。
訳抜け防止モード: lichessはパズルデータをコンパイルする stockfish 12/13 nnue チェスエンジンを40メガノードで使用するユーザ間のゲームデータベースから20万件の分析。
0.68
Though amalgamated puzzles do not come with username information, this information can ostensibly be gathered by playing through the puzzles on the Lichess website, where this information is available. amalgamated puzzlesにはユーザー名情報はないが、この情報はlichessのウェブサイトでパズルをプレイすることで、表向きに収集することができる。 0.67
Because of this, applying deep learning to this dataset could reveal some information about the playing style of Lichess users. このため、このデータセットにディープラーニングを適用することで、Lichessユーザのプレイスタイルに関する情報が明らかになる可能性がある。 0.62
However, upon creating accounts users agree to allow their game data to be public and be used specifically for investigative purposes. しかし、アカウントを作成する際、ユーザーはゲームデータを公開し、特に調査目的に使用することに同意する。 0.77
The puzzle data is released by Lichess for public use under the Creative Commons CC0 license. パズルデータは、Creative Commons CC0ライセンスの下で一般公開されている。 0.69
A.2 Architectural Details A.2アーキテクチャの詳細 0.56
Model files are available in the linked code repository, their details are as follows. モデルファイルはlinked codeリポジトリで利用可能で、詳細は以下の通りである。 0.81
12 12 0.85
英語(論文から抽出)日本語訳スコア
The feed-forward prefix sum models are fully convolutional models that take in n × 1 arrays. フィードフォワードプレフィックス和モデルは完全に畳み込みモデルであり、n × 1 の配列を取り込む。 0.77
The first layer is a one-dimensional convolution with a three entry wide kernel that strides by one entry with padding by one on either end on the input. 第1層は、入力の両端にパディングを1つずつ配置して1つのエントリを進む3つのエントリワイドカーネルと1次元の畳み込みである。 0.76
The output of this first convolution has 120 channels of the same shape as the input. この第1畳み込みの出力は、入力と同じ形状の120チャンネルを有する。 0.71
The next parts of the networks are residual blocks made up of four layers that are identical to the first layer with skip connections every two layers. ネットワークの次の部分は、第1層と同一の4層で構成され、2層ごとにスキップ接続を行う残差ブロックである。 0.85
After the residual blocks, there are three similar convolutional layers that output 60, 30, and two channels, respectively. 残差ブロックの後、同様の畳み込み層が3つあり、それぞれ60、30、および2つのチャネルを出力する。 0.72
For a network of depth d, there are (d − 4)/4 residual blocks. 深さ d のネットワークには (d − 4)/4 の残差ブロックが存在する。 0.86
The recurrent models are identical, except that all residual blocks share weights. リカレントモデルは同じだが、残余ブロックはすべて重みを共有している。 0.71
The feed-forward maze solving models are fully convolutional models that take in n × n × 3 arrays. フィードフォワード迷路解モデルは、n × n × 3 の配列を持つ完全な畳み込みモデルである。 0.77
The first layer is a two-dimensional convolution with a 3 × 3 kernel that strides by one entry and pads by one unit in each direction. 第1の層は3×3のカーネルを持つ2次元の畳み込みであり、各方向に1つのエントリーとパットを1つのユニットで進む。 0.69
The output of this first convolution has 128 channels of the same shape as the input. この第1畳み込みの出力は、入力と同じ形状の128チャンネルを有する。 0.71
As above, the next parts of the networks are residual blocks made up of four layers that are identical to the first layer with skip connections every two layers. 上記のように、ネットワークの次の部分は、第1層と同一の4層からなる残差ブロックであり、2層ごとにスキップ接続を行う。 0.84
After the residual blocks, there are three similar convolutional layers that output 32, 8, and two channels, respectively. 残差ブロックの後、それぞれ32,8,2チャンネルを出力する3つの類似した畳み込み層が存在する。 0.69
For a network of depth d, there are (d − 4)/4 residual blocks. 深さ d のネットワークには (d − 4)/4 の残差ブロックが存在する。 0.86
The recurrent models are identical, except that all residual blocks share weights. リカレントモデルは同じだが、残余ブロックはすべて重みを共有している。 0.71
For experiments with dilated filters, the only changes made are to the dilation of the convolutional filters and to the padding of every convolution and the values are set to maintain the output dimenssion of each layer. 拡張フィルタを用いた実験では、畳み込みフィルタのダイレーションと全ての畳み込みのパディングにのみ変更が加えられ、各層の出力次元を維持するために値が設定される。 0.70
The chess playing models are the same as the maze models except that the first layer takes 8 × 8 × 12 inputs and outputs 512 channels. チェスのモデルは迷路モデルと同じだが、第1の層は8×8×12の入力を受け、512のチャネルを出力する。 0.79
None of the models used in this project have batch normalization or bias terms. このプロジェクトで使用されるモデルはいずれもバッチ正規化やバイアス項を持っていません。 0.67
A.3 Training Hyperparameters a.3 トレーニングハイパーパラメータ 0.61
The training details and hyperparameters are outlined below. トレーニングの詳細とハイパーパラメータを以下に概説する。 0.70
• Prefix sum training is unstable, thus we only save models that show 100% training accuracy •プリフィックス総和トレーニングは不安定であるため、100%トレーニング精度を示すモデルのみ保存する。 0.76
at the end of training. • Data augmentation: Binary string inputs to prefix sum networks are approximately normalized by subtracting 0.5 from every element in the string in order to aid in training stability. 訓練の終わりに • データ拡張: プレフィックス和ネットワークへのバイナリ文字列入力は、トレーニング安定性を支援するために、文字列の各要素から0.5を減算することで、ほぼ正規化される。
訳抜け防止モード: 訓練の終わりに • データ拡張 : プレフィックスサムネットワークへのバイナリ文字列入力は概ね正規化される 弦の全ての要素から0.5を減じて 安定性を訓練する
0.62
Mazes are padded to be 32 × 32 pixels. 迷路は32×32ピクセルにパディングされる。 0.61
• Optimizer: All prefix sum networks are trained using the Adam optimizer with a weight decay factor of 2e-4. •最適化器:全てのプレフィックス和ネットワークは、重量減衰係数2e-4のアダムオプティマイザを用いて訓練される。 0.70
Because of training instability, we also apply gradient clipping at magnitude 1.0. トレーニング不安定のため,マグニチュード1.0の勾配クリッピングも適用した。 0.59
The maze solving networks are trained with stochastic gradient descent with a weight decay factor of 2e-4 and momentum coefficient of 0.9. 迷路解法ネットワークは2e-4の重み減衰係数と0.9の運動量係数で確率勾配降下を訓練する。 0.78
Chess networks are trained using stochastic gradient descent with a weight decay factor of 2e-4 and momentum coefficient of 0.9. チェスネットワークは、重量減衰係数2e-4と運動量係数0.9の確率勾配降下を用いて訓練される。
訳抜け防止モード: チェスネットワークは 重み減衰係数2e-4の確率的勾配降下を用いて 運動量係数0.9。
0.74
• Epochs: Prefix sum networks are trained to convergence with 500 epochs. • Epochs: プリフィックスサムネットワークは500エポックで収束するように訓練される。 0.79
Maze models are trained for 200 epochs. 迷路のモデルは 200エポックの訓練を受けました 0.60
Chess networks are all trained to convergence with 140 epochs. チェスネットワークはすべて140エポックで収束するように訓練されている。 0.56
• Learning rate and decay schedule and type. ※学習率と崩壊スケジュールとタイプ。 0.63
All prefix sum networks are trained using an exponential warm-up schedule applied over 10 epochs. 全てのプレフィックスサムネットワークは、10時間以上適用された指数的ウォームアップスケジュールを用いて訓練される。
訳抜け防止モード: 全てのプレフィックスサムネットワークは 指数関数的なウォーム - 10エポック以上のスケジュールを適用する。
0.58
Initial learning rate (post-warmup) is set at 0.001 and is subsequently halved at epochs 100, 200, and 300. 初等学習率(ウォームアップ後)は0.001と設定され、その後エポック100、200、300で半減する。 0.69
Maze solving networks also use warm-up with a period of 5 epochs after which the learning rate is 0.001. 迷路解決ネットワークはまた、学習率が0.001となる5エポックの期間でウォームアップを使用する。 0.70
The learning rate further decays by a factor of ten at epoch 175. 学習率はさらにエポック175において10倍減少する。 0.63
Chess networks are trained with an exponential warm-up schedule applied over 3 epochs. チェスネットワークは、3エポック以上の指数関数的なウォームアップスケジュールでトレーニングされる。 0.54
Initial learning rate (post-warmup) is set to 0.1 and dropped by a factor of ten at epochs 100 and 110. 初等学習率(ウォームアップ後)は0.1に設定され、エポック100と110では10に低下する。 0.73
• Batch size: For training prefix sum models, we use batches of 150 binary strings. • バッチサイズ:プレフィックス和モデルのトレーニングには、150のバイナリ文字列のバッチを使用します。 0.68
When training maze networks we use batches of 50 mazes. mazeネットワークのトレーニングには、50のmazeのバッチを使用します。 0.57
For chess models, we train with batches of 300 puzzles. チェスモデルでは、300のパズルのバッチでトレーニングします。 0.60
A.4 Compute Resources All of our experiments were done on Nvidia GeForce RTX 2080Ti GPUs. A.4 計算資源 実験はすべてNvidia GeForce RTX 2080Ti GPU上で行われました。 0.78
Prefix sum models train in less than one hour on a single GPU, whereas maze solving models require approximately seven hours on a single GPU. プリフィックスサムモデルは1つのGPUで1時間未満でトレーニングするが、迷路解決モデルは1つのGPUで約7時間かかる。 0.71
The chess networks were trained in about 24 hours on four GPUs. チェスネットワークは4つのGPUで約24時間でトレーニングされた。 0.70
13 13 0.85
英語(論文から抽出)日本語訳スコア
In total, the prefix sum training required to generate the results presented in this paper takes approximately 30 GPU hours. 本論文で提示した結果を生成するのに必要なプレフィックス総和トレーニングには,約30時間を要する。 0.70
The maze models, in total, require one GPU week. 迷路モデルには合計で1週間のGPUが必要だ。 0.82
And the chess networks took 3 GPU weeks. そして、チェスネットワークは3週間を要した。 0.57
The data pre-processing as well as the testing of all models for every experiment can done comparatively quickly, in several hours. データ前処理と、すべての実験のためのすべてのモデルのテストは、比較的短時間で数時間で実行できる。 0.75
B Further Insights We present several additional findings from our experiments. B さらなる展望 実験からさらにいくつかの知見を得た。 0.66
B.1 Prefix Sum Experiments on Other Datasets b.1 他のデータセットにおけるプレフィックス和実験 0.57
Figure 11: Generalizing from easy to hard prefix sums. 図11: 簡単なプレフィックス和から難しいプレフィックス和への一般化。 0.57
The ability of networks to compute prefix sums on two additional test sets with longer input strings than were used for training (accuracy on 36-bit inputs in yellow and on 48-bit inputs in pink). トレーニングで使用されるよりも長い入力文字列を持つ2つのテストセット(黄色では36ビット入力、ピンクでは48ビット入力)でプレフィックス和を計算することができる。 0.76
We compare recurrent models to the best feed-forward models of comparable effective depth. 我々は,再生モデルと同等の有効深さのフィードフォワードモデルを比較した。 0.67
B.2 Dilated Filters B.2 希釈フィルタ 0.69
The receptive field can be increased without adding parameters or depth by dilating the convolutional filters. 畳み込みフィルタを拡張してパラメータや深さを加えることなく、受容場を増加させることができる。 0.62
When we use dilated filters to compute prefix sums, we find that we can fit the training data with N-bit sequences with fewer than N layers – a behaviour that is not possible with non-dilated convolutions. プレフィックス和を計算するために拡張フィルタを使用すると、トレーニングデータをn層未満のnビットシーケンスに適合させることができることが分かりました。 0.49
This suggests that the algorithm learned by our models is informed by the receptive field. これは,モデルで学習したアルゴリズムが受容場によって学習されることを示唆している。 0.57
In other words, since the final entry in a prefix sum does require global information (and therefore, in order for a neural network to compute the final entry it needs a complete receptive field), the use of extra iterations on longer sequences meshes with the algorithmic analysis. 言い換えれば、プレフィックス和の最後のエントリはグローバル情報を必要とするため(従って、ニューラルネットワークが最終エントリを計算するためには、完全な受容場が必要である)、アルゴリズム解析と長いシーケンスに余分なイテレーションを使用することは、アルゴリズム解析と一致する。 0.78
When we contextualize our models by analyzing the way they scale, it is reasonable to find that networks with non-dilated convolutions scale linearly with the input length. スケールの仕方を分析してモデルを文脈化する場合、非拡張畳み込みネットワークが入力長と線形にスケールすることを見つけるのは合理的である。 0.73
This also motivates future work to study whether neural networks can be designed to learn an algorithm that scales with the square root of the problem size, or even logarithmically. これはまた、問題の大きさの平方根でスケールするアルゴリズムを学ぶためにニューラルネットワークを設計できるかどうか、あるいは対数的にさえも、将来の研究を動機付けている。 0.70
B.3 Even Harder Chess Puzzles b.3 難解なチェスパズル 0.60
C Visualizations C ビジュアライゼーション 0.55
Additional visualizations of intermediate outputs, along with input and target examples from all three datasets are presented below. 以下の3つのデータセットのインプットおよびターゲット例とともに、中間出力のさらなる可視化を行う。 0.83
14 10111213141516Test-T ime Iterations0204060801 00Accuracy (%)Models Trained With 10 Iterations on 32-bit DataRecurrent, 36-bit dataRecurrent, 48-bit dataFeed-Forward, 36-bit dataFeed-Forward, 48-bit dataTraining Regime 14 10111213141516 Test-Time Iterations0204060801 00 Accuracy (%) Models Trained 10 Iterations on 32-bit Data Recurrent, 36-bit data Recurrent, 48-bit dataFeed-Forward, 36-bit dataFeed-Forward, 48-bit dataTraining Regime 0.75
英語(論文から抽出)日本語訳スコア
Figure 12: Generalizing from easy to hard chess puzzles. 図12: 簡単なチェスパズルから難しいチェスパズルへの一般化。 0.52
The ability of networks to solve harder puzzles than were used for training. ネットワークはトレーニングに使用されるよりも難しいパズルを解くことができる。 0.78
We trained models on the first 600,000 puzzles and we show their performance with extra iterations on puzzles with index 800,000 to 850,000 (top left), 850,000 to 900,000 (top right), 900,000 to 950,000 (bottom left), and 100,000 to 150,000 (bottom right). 最初の60万のパズルでモデルを訓練し、そのパフォーマンスを80万から85万(左上)、85万から90万(右上)、900万から95万(左上)、そして10万から15万(右上)のパズルで比較した。 0.50
C.1 Prefix Sums We show a recurrent model’s output from each of 11 iterations on 40-bit input strings. C.1 修正サム 40ビットの入力文字列に11回の繰り返しから出力されるリカレントモデルを示す。 0.64
Shown below is the confidence that there is a 1 at each index of the output. 以下に示すのは、出力の各インデックスに 1 が存在するという自信である。 0.76
The first index is at the top for all vectors, the input is in the left-most column and the target is in the right-most column. 第1のインデックスは、すべてのベクトルの先頭にあり、入力は、最左側の列であり、ターゲットは、最右側の列である。 0.78
The model used to produce these plots was trained with fewer iterations (10) on shorter input strings (32-bit). これらのプロットを作成するために使用されたモデルは、短い入力文字列(32ビット)のイテレーション(10)を少なくしてトレーニングされた。 0.59
15 202122232425262728Te st-Time Iterations60.861.061 .261.461.6Accuracy (%)RecurrentTraining Regime20212223242526 2728Test-Time Iterations57.057.257 .457.657.8Accuracy (%)RecurrentTraining Regime20212223242526 2728Test-Time Iterations52.652.853 .053.253.453.6Accura cy (%)RecurrentTraining Regime20212223242526 2728Test-Time Iterations45.846.046 .246.446.6Accuracy (%)RecurrentTraining Regime 15 2021222426262628Test -Time Iterations60.861.061 .261.461.6Accuracy (%)RecurrentTraining Regime20212222242626 2628Test-Time Iteracy57.057.257.45 7.657.8Accuracy52.65 2.853.053.253.453.6A ccuracy (%)RecurrentTraining Regime20212224242626 26262626262424242424 Time Iterations45.846.446 466Accuracy (%)RecurrentTraining Regime 0.61
英語(論文から抽出)日本語訳スコア
Figure 13: Prefix sum intermediate outputs. 図13: 中間出力をプリフィックスする。 0.81
16 Inp.140Index#1#2#3#4 #5#6#7#8#9#10#11#12# 13Tar.01IterationsIn p.140Index#1#2#3#4#5 #6#7#8#9#10#11#12#13 Tar.01IterationsInp. 140Index#1#2#3#4#5#6 #7#8#9#10#11#12#13Ta r.01IterationsInp.14 0Index#1#2#3#4#5#6#7 #8#9#10#11#12#13Tar. 01Iterations 16 Inp.140Index#1#2#4#5 #6##8##9##11#12#13Ta r.01IterationsInp.14 0Index#1#2#4#5#6#8#9 ##9##11#11#12#13Tar. 01IterationsInp.140I ndex#1#2#3#4#6#6#8#9 #11#12#13Tar.01Itera tionsInp.140Index#1# 2#4#5#6#8#9#12#12#12 1213Tar.01Iterations Inp.140Index#1#3#4#4 #5#5#6#6#9#12#1212Ta r.01Iterations 0.83
英語(論文から抽出)日本語訳スコア
C.2 Mazes We show inputs, targets, and outputs form different iterations to highlight the model’s ability to think sequentially about mazes. C.2迷路 入力、ターゲット、出力が異なるイテレーションを形成して、迷路について逐次考えるモデルの能力を強調します。 0.59
We plot the model’s confidence that each pixel belongs to the optimal path. 各ピクセルが最適なパスに属するというモデルの信頼をプロットします。 0.75
Below are several representative examples from a model trained to solve small mazes in six iterations. 以下は、6回のイテレーションで小さな迷路を解決するように訓練されたモデルの代表例である。 0.65
Figure 14: Maze model intermediate outputs. 図14: maze model intermediate outputs。 0.77
17 Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target01Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target01Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target01Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target01 17 Iteration #1Iteration #2Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target01Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #6Iteration #7Iteration #8Iteration #9Target01Iteration #1Iteration #2Iteration #3Iteration #4Iteration #5Iteration #7Iteration #8Iteration #9Target01Iteration #1Iteration #2Iteration #6Iteration #6Iteration #6Iteration #6Iteration #8Iteration #6Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #9Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #6Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #6Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8 Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #8Iteration #6Iteration #8Iteration #8Iteration #6Iteration #6Iteration #6Iteration #6Iteration #6Iteration #8Iteration #81Iteration #6Iteration 0.53
英語(論文から抽出)日本語訳スコア
C.3 Chess Puzzles We show inputs, targets, and outputs form different iterations to highlight the model’s ability to think about the next move. C.3チェスパズル 次の動きについて考えるモデルの能力を強調するために、入力、ターゲット、アウトプットを異なるイテレーションで示します。 0.59
Below, we plot the model’s confidence that each pixel is one of the two that define a move. 以下は、各ピクセルが移動を定義する2つのうちの1つであるというモデルの自信をプロットする。 0.68
Figure 15: Chess model intermediate outputs. 図15: チェスモデル中間出力。 0.71
18 Iteration #1Iteration #16Iteration #17Iteration #18Iteration #19Iteration #20Iteration #21Iteration #22Iteration #23Target01Iteration #1Iteration #16Iteration #17Iteration #18Iteration #19Iteration #20Iteration #21Iteration #22Iteration #23Target01Iteration #1Iteration #16Iteration #17Iteration #18Iteration #19Iteration #20Iteration #21Iteration #22Iteration #23Target01Iteration #1Iteration #16Iteration #17Iteration #18Iteration #19Iteration #20Iteration #21Iteration #22Iteration #23Target01 18 Iteration #1Iteration #16Iteration #18Iteration #20Iteration #21Iteration #22Iteration #23Target01Iteration #1Iteration #16Iteration #17Iteration #18Iteration #19Iteration #21Iteration #22Iteration #23Target01Iteration #1Iteration #17Iteration #18Iteration #20Iteration #22Iteration #23Target01Iteration #19Iteration #20Iteration #21Iteration #23Iteration #23Target01Iteration #1Iteration #16Iteration #19Iteration #20Iteration #20Iteration #21Iteration #21Iteration #21Iteration #21Iteration #21Iteration #21Iteration #22Iteration #22Iteration #23Iteration #23Iteration #23Iteration #23Iteration #19Iteration #19Iteration #19Iteration #19Iteration #21Iteration #21Iteration #21Iteration #21Iteration #21Iteration #23Iteration #21Iteration #23Iteration #23Iteration #23Iteration #23Iteration #23Iteration #23Iteration #23Iteration #19Iteration #19Iteration #19Iteration #23Iteration #19Iteration #23Iteration #19Iteration #19Iteration #23Iteration #19Iteration #19Iteration #19Iteration #19Iteration #19Iteration #19Iteration #23Iteration #19Iteration #19Iteration #19Iteration #19Iteration #19Iteration #19Iteration #19Iteration #19Iteration #23Iteration #19Iteration #1920ation #21Iteration #21Iteration #1920Iteration #20Iteration #21Iteration #19 0.57
                                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。