論文の概要: Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks

• arxiv url: http://arxiv.org/abs/2106.04537v1
• Date: Tue, 8 Jun 2021 17:19:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 18:35:20.773162
• Title: Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks
• Title（参考訳）: アルゴリズムを学べますか? リカレントネットワークの難易度から難易度への一般化
• Authors: Avi Schwarzschild, Eitan Borgnia, Arjun Gupta, Furong Huang, Uzi Vishkin, Micah Goldblum, Tom Goldstein
• Abstract要約: 単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。 これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
• 参考スコア（独自算出の注目度）: 47.54459795966417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. Humans possess the ability to extrapolate reasoning strategies learned on simple problems to solve harder examples, often by thinking for longer. For example, a person who has learned to solve small mazes can easily extend the very same search techniques to solve much larger mazes by spending more time. In computers, this behavior is often achieved through the use of algorithms, which scale to arbitrarily hard problem instances at the cost of more computation. In contrast, the sequential computing budget of feed-forward neural networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning to accommodate harder problems. In this work, we show that recurrent networks trained to solve simple problems with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference. We demonstrate this algorithmic behavior of recurrent networks on prefix sum computation, mazes, and chess. In all three domains, networks trained on simple problem instances are able to extend their reasoning abilities at test time simply by "thinking for longer."
• Abstract（参考訳）: ディープニューラルネットワークは、視覚パターン認識のための強力なマシンであるが、人間にとって簡単な推論タスクは、ニューラルモデルにとって依然として困難である。 人間は、単純な問題で学んだ推論戦略を外挿して、しばしば長く考えることで、難しい例を解く能力を持っている。 例えば、小さな迷路を解くことを学んだ人は、非常に大きな迷路をもっと多くの時間をかけて解くために、同じ検索テクニックを簡単に拡張できます。 コンピュータでは、多くの計算コストを犠牲にして任意に難しい問題インスタンスにスケールするアルゴリズムを用いることで、この動作が達成されることが多い。 対照的に、フィードフォワードニューラルネットワークの逐次コンピューティング予算は、その深さによって制限されており、単純な問題で訓練されたネットワークは、より難しい問題に対応するために推論を拡張する方法がない。 本研究では,再帰的ステップの少ない単純な問題を解くために訓練された再帰的ネットワークは,推論中に追加的な再帰を行うことで,より複雑な問題を実際に解決できることを示す。 本稿では,プレフィックス和計算,迷路計算,チェスにおける再帰ネットワークのアルゴリズム的挙動を示す。 3つのドメインすべてにおいて、単純な問題インスタンスでトレーニングされたネットワークは、単に"より長く考える"だけで、テスト時に推論能力を拡張できる。

関連論文リスト

• Adaptive recurrent vision performs zero-shot computation scaling to unseen difficulty levels [6.053394076324473]
  また,適応計算により,学習分布の難易度を超える解を視覚モデルで外挿できるかどうかを検討する。 畳み込みリカレントニューラルネットワーク(ConvRNN)とGraves(PathFinder)とMazes(Mazes)をベースとした学習可能なメカニズムを組み合わせる。 本稿では,AdRNNが早期(ないし遅れ)の処理を動的に停止して,より容易(あるいは困難)な問題を解消できることを示し,また,テスト時の繰り返し回数を動的に増加させることで,トレーニング中に表示されないより困難な問題設定に0ショットを一般化する。
  論文  参考訳（メタデータ） (2023-11-12T21:07:04Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
  6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。 我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。 実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
  論文  参考訳（メタデータ） (2022-12-20T04:33:32Z)
• Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
  ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
  論文  参考訳（メタデータ） (2022-06-30T17:44:20Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。