論文の概要: Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems

• arxiv url: http://arxiv.org/abs/2102.11011v1
• Date: Mon, 22 Feb 2021 14:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 11:03:32.270434
• Title: Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems
• Title（参考訳）: Recurrenceで深く考える: 簡単からハードなシーケンス推論問題への一般化
• Authors: Avi Schwarzschild, Arjun Gupta, Micah Goldblum, Tom Goldstein
• Abstract要約: 我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
• 参考スコア（独自算出の注目度）: 51.132938969015825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are powerful machines for visual pattern recognition, but reasoning tasks that are easy for humans may still be difficult for neural models. Humans can extrapolate simple reasoning strategies to solve difficult problems using long sequences of abstract manipulations, i.e., harder problems are solved by thinking for longer. In contrast, the sequential computing budget of feed-forward networks is limited by their depth, and networks trained on simple problems have no way of extending their reasoning capabilities without retraining. In this work, we observe that recurrent networks have the uncanny ability to closely emulate the behavior of non-recurrent deep models, often doing so with far fewer parameters, on both image classification and maze solving tasks. We also explore whether recurrent networks can make the generalization leap from simple problems to hard problems simply by increasing the number of recurrent iterations used as test time. To this end, we show that recurrent networks that are trained to solve simple mazes with few recurrent steps can indeed solve much more complex problems simply by performing additional recurrences during inference.
• Abstract（参考訳）: ディープニューラルネットワークは視覚パターン認識のための強力なマシンですが、人間にとって簡単な推論タスクはまだニューラルネットワークモデルでは難しいかもしれません。 人間は、抽象的な操作の長いシーケンスを使用して難しい問題を解決するための単純な推論戦略を外挿することができます。 対照的に、フィードフォワードネットワークの逐次コンピューティング予算は、その深さによって制限されており、単純な問題で訓練されたネットワークは、再トレーニングなしに推論能力を拡張する方法がない。 本研究では,リカレントネットワークが非リカレント深層モデルの挙動を密にエミュレートする能力を有し,画像分類と迷路解像タスクの両方において,より少ないパラメータで実施することが多いことを検証した。 また、テスト時間として使用される反復回数を増加させることで、再帰ネットワークが単純な問題から難しい問題へと一般化できるかどうかについても検討する。 そこで本研究では,単純な迷路を少ないステップで解くために訓練された再帰的ネットワークが,推論中に追加の繰り返しを実行するだけで,より複雑な問題を解くことができることを示す。

関連論文リスト

• Adaptive recurrent vision performs zero-shot computation scaling to unseen difficulty levels [6.053394076324473]
  また,適応計算により,学習分布の難易度を超える解を視覚モデルで外挿できるかどうかを検討する。 畳み込みリカレントニューラルネットワーク(ConvRNN)とGraves(PathFinder)とMazes(Mazes)をベースとした学習可能なメカニズムを組み合わせる。 本稿では,AdRNNが早期(ないし遅れ)の処理を動的に停止して,より容易(あるいは困難)な問題を解消できることを示し,また,テスト時の繰り返し回数を動的に増加させることで,トレーニング中に表示されないより困難な問題設定に0ショットを一般化する。
  論文  参考訳（メタデータ） (2023-11-12T21:07:04Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
  6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。 我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。 実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
  論文  参考訳（メタデータ） (2022-12-20T04:33:32Z)
• Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
  ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
  論文  参考訳（メタデータ） (2022-06-30T17:44:20Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks [47.54459795966417]
  単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。 これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
  論文  参考訳（メタデータ） (2021-06-08T17:19:48Z)
• Verifying Recurrent Neural Networks using Invariant Inference [0.0]
  本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。 この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
  論文  参考訳（メタデータ） (2020-04-06T08:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。