論文の概要: A Hybrid System for Systematic Generalization in Simple Arithmetic
Problems
- arxiv url: http://arxiv.org/abs/2306.17249v1
- Date: Thu, 29 Jun 2023 18:35:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 14:10:40.185572
- Title: A Hybrid System for Systematic Generalization in Simple Arithmetic
Problems
- Title(参考訳): 単純算術問題における体系的一般化のためのハイブリッドシステム
- Authors: Flavio Petruzzellis, Alberto Testolin, Alessandro Sperduti
- Abstract要約: 本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。
提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
- 参考スコア(独自算出の注目度): 70.91780996370326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Solving symbolic reasoning problems that require compositionality and
systematicity is considered one of the key ingredients of human intelligence.
However, symbolic reasoning is still a great challenge for deep learning
models, which often cannot generalize the reasoning pattern to
out-of-distribution test cases. In this work, we propose a hybrid system
capable of solving arithmetic problems that require compositional and
systematic reasoning over sequences of symbols. The model acquires such a skill
by learning appropriate substitution rules, which are applied iteratively to
the input string until the expression is completely resolved. We show that the
proposed system can accurately solve nested arithmetical expressions even when
trained only on a subset including the simplest cases, significantly
outperforming both a sequence-to-sequence model trained end-to-end and a
state-of-the-art large language model.
- Abstract(参考訳): 構成性や体系性を必要とするシンボリック推論問題を解くことは、人間の知性の重要な要素の一つと考えられている。
しかし、シンボリック推論は、分散テストケースに推論パターンを一般化できないことが多いディープラーニングモデルにとって、依然として大きな課題である。
本研究では,記号列の合成と体系的推論を必要とする算術問題を解くことができるハイブリッドシステムを提案する。
モデルは、式が完全に解決されるまで入力文字列に反復的に適用される適切な置換規則を学習することで、そのようなスキルを得る。
提案システムは,最も単純なケースを含むサブセットのみを訓練しても,終末訓練されたシーケンス・ツー・シーケンス・モデルと最先端の大規模言語モデルの両方を著しく上回り,入れ子演算式を正確に解くことができることを示す。
関連論文リスト
- A Neural Rewriting System to Solve Algorithmic Problems [51.485598133884615]
本稿では,特殊なモジュールで構成されたニューラルアーキテクチャとして,書き換えシステムを実装可能であることを示す。
シンボリック・フォーミュラの簡素化を必要とする3種類のアルゴリズムタスクに対して,本モデルの評価を行った。
論文 参考訳(メタデータ) (2024-02-27T10:57:07Z) - Do Deep Neural Networks Capture Compositionality in Arithmetic
Reasoning? [31.692400722222278]
算術的シンボリック推論において、構成性に関するスキルツリーを導入し、階層的な複雑性レベルと3つの構成性次元(体系性、生産性、置換性)を定義する。
実験の結果, 3種類の構成のうち, モデルが最も体系性に苦慮し, 比較的単純な構成でも性能が劣っていることが明らかとなった。
論文 参考訳(メタデータ) (2023-02-15T18:59:04Z) - Learning to Reason With Relational Abstractions [65.89553417442049]
関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。
このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2022-10-06T00:27:50Z) - End-to-end Algorithm Synthesis with Recurrent Networks: Logical
Extrapolation Without Overthinking [52.05847268235338]
機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。
本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。
また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
論文 参考訳(メタデータ) (2022-02-11T18:43:28Z) - Symbolic Brittleness in Sequence Models: on Systematic Generalization in
Symbolic Mathematics [38.62999063710003]
我々は、テストセットを超えて体系的に一般化する必要があるため、記号的数学的積分の問題を考察する。
本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。
本研究では,手動テストスイートと遺伝的アルゴリズムの両方を用いて,ロバスト性,構成性,分布外一般化を実現する上での課題を示す。
論文 参考訳(メタデータ) (2021-09-28T18:50:15Z) - Refining Labelled Systems for Modal and Constructive Logics with
Applications [0.0]
この論文は、モーダル論理や構成論理のセマンティクスを「経済的な」証明システムに変換する手段として機能する。
精製法は、ラベル付きおよびネストされたシーケント計算の2つの証明理論パラダイムを結合する。
導入された洗練されたラベル付き電卓は、デオン性STIT論理に対する最初の証明探索アルゴリズムを提供するために使用される。
論文 参考訳(メタデータ) (2021-07-30T08:27:15Z) - Relational reasoning and generalization using non-symbolic neural
networks [66.07793171648161]
これまでの研究では、ニューラルネットワークは数学的同一性を表現することができないため、人間関係推論の適切なモデルではないことが示唆された。
ニューラルネットワークは、基本等式(数学的同一性)を学習し、(2)正のトレーニングインスタンスのみを持つ逐次等式問題(ABAパターンの学習シーケンス)、(3)基本等式トレーニングインスタンスのみを持つ複雑で階層的等式問題(英語版)を学習できる。
これらの結果は,データ駆動型,非記号的学習プロセスから,象徴的推論の本質的な側面が生まれることを示唆している。
論文 参考訳(メタデータ) (2020-06-14T18:25:42Z) - Machine Number Sense: A Dataset of Visual Arithmetic Problems for
Abstract and Relational Reasoning [95.18337034090648]
文法モデルを用いて自動生成される視覚的算術問題からなるデータセット、MNS(Machine Number Sense)を提案する。
これらの視覚的算術問題は幾何学的フィギュアの形をしている。
我々は、この視覚的推論タスクのベースラインとして、4つの主要なニューラルネットワークモデルを用いて、MNSデータセットをベンチマークする。
論文 参考訳(メタデータ) (2020-04-25T17:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。