論文の概要: Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say" Sequence

• arxiv url: http://arxiv.org/abs/2109.12755v1
• Date: Mon, 27 Sep 2021 01:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 07:23:20.607917
• Title: Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say" Sequence
• Title（参考訳）: 抽象化・推論・ディープラーニング:「Look and Say」シーケンスの検討
• Authors: Wlodek W. Zadrozny
• Abstract要約: ディープニューラルネットワークは、大規模なデータセットでトレーニングされた場合、高い能力(精度で測定される)を示すことができる。 パズルデータ「Look and Say」の2つのセット実験について報告する。 トレーニングデータとテストデータの両方で)驚くべき精度にもかかわらず、実際のL&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to abstract, count, and use System 2 reasoning are well-known manifestations of intelligence and understanding. In this paper, we argue, using the example of the ``Look and Say" puzzle, that although deep neural networks can exhibit high `competence' (as measured by accuracy) when trained on large data sets (2M examples in our case), they do not show any sign on the deeper understanding of the problem, or what D. Dennett calls `comprehension'. We report on two sets experiments on the ``Look and Say" puzzle data. We view the problem as building a translator from one set of tokens to another. We apply both standard LSTMs and Transformer/Attention -- based neural networks, using publicly available machine translation software. We observe that despite the amazing accuracy (on both, training and test data), the performance of the trained programs on the actual L\&S sequence is bad. We then discuss a few possible ramifications of this finding and connections to other work, experimental and theoretical. First, from the cognitive science perspective, we argue that we need better mathematical models of abstraction. Second, the classical and more recent results on the universality of neural networks should be re-examined for functions acting on discrete data sets. Mapping on discrete sets usually have no natural continuous extensions. This connects the results on a simple puzzle to more sophisticated results on modeling of mathematical functions, where algebraic functions are more difficult to model than e.g. differential equations. Third, we hypothesize that for problems such as ``Look and Say", computing the parity of bitstrings, or learning integer addition, it might be worthwhile to introduce concepts from topology, where continuity is defined without the reference to the concept of distance.
• Abstract（参考訳）: システム2の推論を抽象化し、数え、使用する能力は、知性と理解の有名な表現である。 本稿では,大規模データセット(本事例では2m例)で学習した場合,ディープニューラルネットワークは高い「競合」を示すことができるが,問題のより深い理解やd.dennettが「理解」と呼ぶものについては何の兆候も示さない,という,``look and say'パズルの2つの集合実験について報告する。 問題は、あるトークンセットから別のトークンへのトランスレータの構築だと考えています。 標準のLSTMとTransformer/Attentionベースのニューラルネットワークの両方を、公開機械翻訳ソフトウェアを用いて適用する。 トレーニングデータとテストデータの両方において)驚くべき精度にもかかわらず、実際のL\&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いことを観察する。 次に、この発見と他の研究、実験的、理論的関係のいくつかの可能性について論じる。 まず、認知科学の観点から、より優れた抽象の数学的モデルが必要であると論じる。 第二に、ニューラルネットワークの普遍性に関する古典的かつ最近の結果は、離散データセットに作用する関数に対して再検討されるべきである。 離散集合上の写像は通常自然連続拡大を持たない。 これは、代数関数が微分方程式よりもモデル化が難しい数学的関数のモデリングに関するより洗練された結果と単純なパズルの結果を結びつける。 第三に、'Look and Say'のような問題やビットストリングのパリティの計算、整数の加算といった問題に対して、連続性は距離の概念に言及せずに定義されるトポロジーの概念を導入することには価値があると仮定する。

関連論文リスト

• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
  本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• Are Deep Neural Networks SMARTer than Second Graders? [85.60342335636341]
  6～8歳児を対象としたビジュオ言語パズルの解法において,ニューラルネットワークの抽象化,推論,一般化能力の評価を行った。 我々のデータセットは101のユニークなパズルで構成されており、各パズルは絵の質問で構成されており、それらの解には算術、代数学、空間推論を含むいくつかの基本的なスキルが混在している必要がある。 実験により、強力なディープモデルは教師付き設定でパズルに合理的な性能を与えるが、一般化のために解析するとランダムな精度よりは良くないことが明らかになった。
  論文  参考訳（メタデータ） (2022-12-20T04:33:32Z)
• Stop ordering machine learning algorithms by their explainability! A user-centered investigation of performance and explainability [0.0]
  機械学習アルゴリズムのモデル性能と説明可能性のトレードオフについて検討する。 エンドユーザの認識では、トレードオフは徐々に減少しています。 第2の実験の結果、説明可能な人工知能の強化は説明可能性を高めるのに有効であるが、このタイプの説明はエンドユーザの知覚に不可欠な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-06-20T08:32:38Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Perspective: A Phase Diagram for Deep Learning unifying Jamming, Feature Learning and Lazy Training [4.318555434063275]
  ディープラーニングアルゴリズムは、画像認識やgoプレイなど、さまざまなタスクにおける技術革命の責任を負う。 しかし、なぜ働くのかは分かっていない。 最終的に、彼らは高い次元に横たわるデータを分類することに成功しました。 我々は、異なる学習体制をフェーズダイアグラムにまとめることができると論じる。
  論文  参考訳（メタデータ） (2020-12-30T11:00:36Z)
• Logic Tensor Networks [9.004005678155023]
  学習と推論をサポートする神経シンボリック形式論と計算モデルであるLogic Networks(LTN)を提示する。 LTNがいくつかのAIタスクの仕様と計算に一様言語を提供することを示す。
  論文  参考訳（メタデータ） (2020-12-25T22:30:18Z)
• Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning [95.18337034090648]
  文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。 これらの視覚的算術問題は幾何学的フィギュアの形をしている。 我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2020-04-25T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。