論文の概要: Transformers discover an elementary calculation system exploiting local attention and grid-like problem representation

• arxiv url: http://arxiv.org/abs/2207.02536v1
• Date: Wed, 6 Jul 2022 09:29:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 12:49:31.659823
• Title: Transformers discover an elementary calculation system exploiting local attention and grid-like problem representation
• Title（参考訳）: 局所注意とグリッドライクな問題表現を利用した素数計算システム
• Authors: Samuel Cognolato and Alberto Testolin
• Abstract要約: 局所的な注意と適応的な停止機構を備えたユニバーサルトランスフォーマーは、外部のグリッドライクなメモリを利用してマルチ桁加算を行うことができることを示す。 提案モデルでは, トレーニング分布外の補間を必要とする問題に対して, 実験を行った場合においても, 顕著な精度が得られた。
• 参考スコア（独自算出の注目度）: 0.424243593213882
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mathematical reasoning is one of the most impressive achievements of human intellect but remains a formidable challenge for artificial intelligence systems. In this work we explore whether modern deep learning architectures can learn to solve a symbolic addition task by discovering effective arithmetic procedures. Although the problem might seem trivial at first glance, generalizing arithmetic knowledge to operations involving a higher number of terms, possibly composed by longer sequences of digits, has proven extremely challenging for neural networks. Here we show that universal transformers equipped with local attention and adaptive halting mechanisms can learn to exploit an external, grid-like memory to carry out multi-digit addition. The proposed model achieves remarkable accuracy even when tested with problems requiring extrapolation outside the training distribution; most notably, it does so by discovering human-like calculation strategies such as place value alignment.
• Abstract（参考訳）: 数学的推論は人間の知能の最も印象的な成果の1つだが、人工知能システムにとって依然として恐ろしい挑戦だ。 本研究では,現代的深層学習アーキテクチャが効果的な算術手順を発見すれば,記号的加算課題を解くことができるかを検討する。 この問題は一見すると自明に思えるかもしれないが、より長い桁列で構成されたより多くの項を含む演算に算術知識を一般化することは、ニューラルネットワークにとって極めて困難であることが証明されている。 本稿では,局所的注意と適応的停止機構を備えたユニバーサルトランスフォーマは,外部のグリッド状メモリを利用して複数桁の加算を行うことができることを示す。 提案モデルでは, トレーニング分布外の補間を必要とする問題に対して, 位置値アライメントなどの人為的な計算方法を発見することにより, 精度が著しく向上する。

関連論文リスト

• Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Can neural networks do arithmetic? A survey on the elementary numerical skills of state-of-the-art deep learning models [0.424243593213882]
  深層学習モデルが量と記号数の基本的な理解を持っているかどうかは不明である。 我々は最近の文献を批判的に検証し、基礎的な数値と算術の知識をテストするために設計された比較的単純なタスクによって、最先端のアーキテクチャでさえしばしば不足していると結論付けている。
  論文  参考訳（メタデータ） (2023-03-14T09:30:52Z)
• Learning to solve arithmetic problems with a virtual abacus [0.35911228556176483]
  本稿では,認知エージェントが算術的問題を解くための学習方法をシミュレートする,深層強化学習フレームワークを提案する。 提案モデルでは,複数桁の加算と減算をうまく学習し,誤差率を1%以下に抑えることができた。 最も一般的なエラーパターンを分析して、設計選択による制限とバイアスをよりよく理解します。
  論文  参考訳（メタデータ） (2023-01-17T13:25:52Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)
• Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning [95.18337034090648]
  文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。 これらの視覚的算術問題は幾何学的フィギュアの形をしている。 我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2020-04-25T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。