論文の概要: A Hybrid System for Systematic Generalization in Simple Arithmetic Problems

• arxiv url: http://arxiv.org/abs/2306.17249v1
• Date: Thu, 29 Jun 2023 18:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 14:10:40.185572
• Title: A Hybrid System for Systematic Generalization in Simple Arithmetic Problems
• Title（参考訳）: 単純算術問題における体系的一般化のためのハイブリッドシステム
• Authors: Flavio Petruzzellis, Alberto Testolin, Alessandro Sperduti
• Abstract要約: 本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。 提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
• 参考スコア（独自算出の注目度）: 70.91780996370326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving symbolic reasoning problems that require compositionality and systematicity is considered one of the key ingredients of human intelligence. However, symbolic reasoning is still a great challenge for deep learning models, which often cannot generalize the reasoning pattern to out-of-distribution test cases. In this work, we propose a hybrid system capable of solving arithmetic problems that require compositional and systematic reasoning over sequences of symbols. The model acquires such a skill by learning appropriate substitution rules, which are applied iteratively to the input string until the expression is completely resolved. We show that the proposed system can accurately solve nested arithmetical expressions even when trained only on a subset including the simplest cases, significantly outperforming both a sequence-to-sequence model trained end-to-end and a state-of-the-art large language model.
• Abstract（参考訳）: 構成性や体系性を必要とするシンボリック推論問題を解くことは、人間の知性の重要な要素の一つと考えられている。 しかし、シンボリック推論は、分散テストケースに推論パターンを一般化できないことが多いディープラーニングモデルにとって、依然として大きな課題である。 本研究では,記号列の合成と体系的推論を必要とする算術問題を解くことができるハイブリッドシステムを提案する。 モデルは、式が完全に解決されるまで入力文字列に反復的に適用される適切な置換規則を学習することで、そのようなスキルを得る。 提案システムは,最も単純なケースを含むサブセットのみを訓練しても,終末訓練されたシーケンス・ツー・シーケンス・モデルと最先端の大規模言語モデルの両方を著しく上回り,入れ子演算式を正確に解くことができることを示す。

関連論文リスト

• Quantifying artificial intelligence through algebraic generalization [19.999962047304596]
  現代のAIシステムは、シンボリック処理と抽象化を必要とするテストに不足している。 AIシステムにおける推論を定量化するための包括的で理論的に動機付けられたフレームワークは存在しない。 ここでは、シンボリック一般化を明示的に定量化するために、計算複雑性理論の枠組みを採用する。
  論文  参考訳（メタデータ） (2024-11-08T20:08:18Z)
• A Neural Rewriting System to Solve Algorithmic Problems [47.129504708849446]
  ネストされた数学的公式を解くための一般的な手順を学習するために設計されたモジュラーアーキテクチャを提案する。 シンボリック人工知能の古典的なフレームワークである書き換えシステムに触発され、アーキテクチャには3つの専門的で対話的なモジュールが含まれます。 我々は、系統的な一般化に特化した最近のモデルであるNeural Data Routerと、先進的なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)とを比較した。
  論文  参考訳（メタデータ） (2024-02-27T10:57:07Z)
• Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning? [31.692400722222278]
  算術的シンボリック推論において、構成性に関するスキルツリーを導入し、階層的な複雑性レベルと3つの構成性次元(体系性、生産性、置換性)を定義する。 実験の結果, 3種類の構成のうち, モデルが最も体系性に苦慮し, 比較的単純な構成でも性能が劣っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-02-15T18:59:04Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Symbolic Brittleness in Sequence Models: on Systematic Generalization in Symbolic Mathematics [38.62999063710003]
  我々は、テストセットを超えて体系的に一般化する必要があるため、記号的数学的積分の問題を考察する。 本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。 本研究では,手動テストスイートと遺伝的アルゴリズムの両方を用いて,ロバスト性,構成性,分布外一般化を実現する上での課題を示す。
  論文  参考訳（メタデータ） (2021-09-28T18:50:15Z)
• Relational reasoning and generalization using non-symbolic neural networks [66.07793171648161]
  これまでの研究では、ニューラルネットワークは数学的同一性を表現することができないため、人間関係推論の適切なモデルではないことが示唆された。 ニューラルネットワークは、基本等式(数学的同一性)を学習し、(2)正のトレーニングインスタンスのみを持つ逐次等式問題(ABAパターンの学習シーケンス)、(3)基本等式トレーニングインスタンスのみを持つ複雑で階層的等式問題(英語版)を学習できる。 これらの結果は,データ駆動型,非記号的学習プロセスから,象徴的推論の本質的な側面が生まれることを示唆している。
  論文  参考訳（メタデータ） (2020-06-14T18:25:42Z)
• Machine Number Sense: A Dataset of Visual Arithmetic Problems for Abstract and Relational Reasoning [95.18337034090648]
  文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。 これらの視覚的算術問題は幾何学的フィギュアの形をしている。 我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2020-04-25T17:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。