論文の概要: A Neural Rewriting System to Solve Algorithmic Problems

• arxiv url: http://arxiv.org/abs/2402.17407v1
• Date: Tue, 27 Feb 2024 10:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 16:45:22.263578
• Title: A Neural Rewriting System to Solve Algorithmic Problems
• Title（参考訳）: アルゴリズム問題解決のためのニューラルネットワーク書き換えシステム
• Authors: Flavio Petruzzellis, Alberto Testolin, Alessandro Sperduti
• Abstract要約: 本稿では,特殊なモジュールで構成されたニューラルアーキテクチャとして,書き換えシステムを実装可能であることを示す。 シンボリック・フォーミュラの簡素化を必要とする3種類のアルゴリズムタスクに対して,本モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 51.485598133884615
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern neural network architectures still struggle to learn algorithmic procedures that require to systematically apply compositional rules to solve out-of-distribution problem instances. In this work, we propose an original approach to learn algorithmic tasks inspired by rewriting systems, a classic framework in symbolic artificial intelligence. We show that a rewriting system can be implemented as a neural architecture composed by specialized modules: the Selector identifies the target sub-expression to process, the Solver simplifies the sub-expression by computing the corresponding result, and the Combiner produces a new version of the original expression by replacing the sub-expression with the solution provided. We evaluate our model on three types of algorithmic tasks that require simplifying symbolic formulas involving lists, arithmetic, and algebraic expressions. We test the extrapolation capabilities of the proposed architecture using formulas involving a higher number of operands and nesting levels than those seen during training, and we benchmark its performance against the Neural Data Router, a recent model specialized for systematic generalization, and a state-of-the-art large language model (GPT-4) probed with advanced prompting strategies.
• Abstract（参考訳）: 現代のニューラルネットワークアーキテクチャは、分散問題のインスタンスを解決するために構成規則を体系的に適用する必要があるアルゴリズムの手順を学ぶのに未だに苦労している。 本研究では,記号型人工知能の古典的枠組みである書き換えシステムに触発されたアルゴリズムタスクを学習する手法を提案する。 対象のサブ表現をプロセスに識別するセレクタと、対応する結果を計算することでサブ表現を単純化するソルバと、サブ表現を提供されたソリューションに置き換えて元の式の新しいバージョンを生成するコンビネータである。 我々は、リスト、算術、代数式を含む記号式を単純化する必要のある3種類のアルゴリズム的タスクでモデルを評価する。 提案アーキテクチャの補間性能を,訓練中に見られたものよりも多くのオペランドとネストレベルを含む公式を用いて検証し,その性能をニューラルデータルータ,系統一般化に特化した最近のモデル,そして高度なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)と比較した。

関連論文リスト

• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• A Hybrid System for Systematic Generalization in Simple Arithmetic Problems [70.91780996370326]
  本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。 提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-29T18:35:41Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Towards the One Learning Algorithm Hypothesis: A System-theoretic Approach [0.0]
  人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。 i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-04T05:54:33Z)
• Personalized Algorithm Generation: A Case Study in Meta-Learning ODE Integrators [6.457555233038933]
  科学計算における数値アルゴリズムのメタラーニングに関する研究 初期値問題の解法を自動的に学習する機械学習手法を開発した。
  論文  参考訳（メタデータ） (2021-05-04T05:42:33Z)
• Neuro-algorithmic Policies enable Fast Combinatorial Generalization [16.74322664734553]
  近年, 標準アーキテクチャの一般化は, 排他的データ取得後にのみ改善されることが示唆されている。 MDPフレームワークの特定のサブクラスに対して、これは神経アルゴリズムアーキテクチャーによって緩和できることを示す。 本稿では,ニューラルネットワークと組込み時間に依存した最短経路ソルバからなる自律神経系ポリシアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-02-15T11:07:59Z)
• Model-Based Machine Learning for Communications [110.47840878388453]
  モデルベースのアルゴリズムと機械学習をハイレベルな視点で組み合わせるための既存の戦略を見直します。 通信受信機の基本的なタスクの一つであるシンボル検出に注目する。
  論文  参考訳（メタデータ） (2021-01-12T19:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。