論文の概要: A Neural Rewriting System to Solve Algorithmic Problems
- arxiv url: http://arxiv.org/abs/2402.17407v1
- Date: Tue, 27 Feb 2024 10:57:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 16:45:22.263578
- Title: A Neural Rewriting System to Solve Algorithmic Problems
- Title(参考訳): アルゴリズム問題解決のためのニューラルネットワーク書き換えシステム
- Authors: Flavio Petruzzellis, Alberto Testolin, Alessandro Sperduti
- Abstract要約: 本稿では,特殊なモジュールで構成されたニューラルアーキテクチャとして,書き換えシステムを実装可能であることを示す。
シンボリック・フォーミュラの簡素化を必要とする3種類のアルゴリズムタスクに対して,本モデルの評価を行った。
- 参考スコア(独自算出の注目度): 51.485598133884615
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern neural network architectures still struggle to learn algorithmic
procedures that require to systematically apply compositional rules to solve
out-of-distribution problem instances. In this work, we propose an original
approach to learn algorithmic tasks inspired by rewriting systems, a classic
framework in symbolic artificial intelligence. We show that a rewriting system
can be implemented as a neural architecture composed by specialized modules:
the Selector identifies the target sub-expression to process, the Solver
simplifies the sub-expression by computing the corresponding result, and the
Combiner produces a new version of the original expression by replacing the
sub-expression with the solution provided. We evaluate our model on three types
of algorithmic tasks that require simplifying symbolic formulas involving
lists, arithmetic, and algebraic expressions. We test the extrapolation
capabilities of the proposed architecture using formulas involving a higher
number of operands and nesting levels than those seen during training, and we
benchmark its performance against the Neural Data Router, a recent model
specialized for systematic generalization, and a state-of-the-art large
language model (GPT-4) probed with advanced prompting strategies.
- Abstract(参考訳): 現代のニューラルネットワークアーキテクチャは、分散問題のインスタンスを解決するために構成規則を体系的に適用する必要があるアルゴリズムの手順を学ぶのに未だに苦労している。
本研究では,記号型人工知能の古典的枠組みである書き換えシステムに触発されたアルゴリズムタスクを学習する手法を提案する。
対象のサブ表現をプロセスに識別するセレクタと、対応する結果を計算することでサブ表現を単純化するソルバと、サブ表現を提供されたソリューションに置き換えて元の式の新しいバージョンを生成するコンビネータである。
我々は、リスト、算術、代数式を含む記号式を単純化する必要のある3種類のアルゴリズム的タスクでモデルを評価する。
提案アーキテクチャの補間性能を,訓練中に見られたものよりも多くのオペランドとネストレベルを含む公式を用いて検証し,その性能をニューラルデータルータ,系統一般化に特化した最近のモデル,そして高度なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)と比較した。
関連論文リスト
- Discrete Neural Algorithmic Reasoning [21.852775399735005]
本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。
SALSA-CLRSベンチマークで完璧なテストスコアが得られ、すべてのタスクに対して完璧なテストスコアが得られます。
論文 参考訳(メタデータ) (2024-02-18T16:03:04Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳(メタデータ) (2023-06-30T17:59:13Z) - A Hybrid System for Systematic Generalization in Simple Arithmetic
Problems [70.91780996370326]
本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。
提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
論文 参考訳(メタデータ) (2023-06-29T18:35:41Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳(メタデータ) (2022-11-22T16:30:33Z) - Bayesian Learning to Discover Mathematical Operations in Governing
Equations of Dynamic Systems [3.1544304017740634]
本研究は,ニューラルネットワークのような階層構造を持つ数理演算ネットワーク(MathONet)を設計することにより,方程式を制御するための新しい表現を提案する。
MathONetは通常、冗長な構造を持つ超グラフと見なされる。
論文 参考訳(メタデータ) (2022-06-01T10:31:14Z) - Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。
モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文 参考訳(メタデータ) (2021-06-16T17:12:26Z) - Personalized Algorithm Generation: A Case Study in Meta-Learning ODE
Integrators [6.457555233038933]
科学計算における数値アルゴリズムのメタラーニングに関する研究
初期値問題の解法を自動的に学習する機械学習手法を開発した。
論文 参考訳(メタデータ) (2021-05-04T05:42:33Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。