論文の概要: A Neural Rewriting System to Solve Algorithmic Problems

• arxiv url: http://arxiv.org/abs/2402.17407v2
• Date: Fri, 12 Jul 2024 15:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 05:17:24.783162
• Title: A Neural Rewriting System to Solve Algorithmic Problems
• Title（参考訳）: アルゴリズム問題を解くニューラルネットワーク書き換えシステム
• Authors: Flavio Petruzzellis, Alberto Testolin, Alessandro Sperduti,
• Abstract要約: ネストされた数学的公式を解くための一般的な手順を学習するために設計されたモジュラーアーキテクチャを提案する。 シンボリック人工知能の古典的なフレームワークである書き換えシステムに触発され、アーキテクチャには3つの専門的で対話的なモジュールが含まれます。 我々は、系統的な一般化に特化した最近のモデルであるNeural Data Routerと、先進的なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)とを比較した。
• 参考スコア（独自算出の注目度）: 47.129504708849446
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern neural network architectures still struggle to learn algorithmic procedures that require to systematically apply compositional rules to solve out-of-distribution problem instances. In this work, we focus on formula simplification problems, a class of synthetic benchmarks used to study the systematic generalization capabilities of neural architectures. We propose a modular architecture designed to learn a general procedure for solving nested mathematical formulas by only relying on a minimal set of training examples. Inspired by rewriting systems, a classic framework in symbolic artificial intelligence, we include in the architecture three specialized and interacting modules: the Selector, trained to identify solvable sub-expressions; the Solver, mapping sub-expressions to their values; and the Combiner, replacing sub-expressions in the original formula with the solution provided by the Solver. We benchmark our system against the Neural Data Router, a recent model specialized for systematic generalization, and a state-of-the-art large language model (GPT-4) probed with advanced prompting strategies. We demonstrate that our approach achieves a higher degree of out-of-distribution generalization compared to these alternative approaches on three different types of formula simplification problems, and we discuss its limitations by analyzing its failures.
• Abstract（参考訳）: 現代のニューラルネットワークアーキテクチャは、アウト・オブ・ディストリビューションの問題を解決するために構成規則を体系的に適用する必要があるアルゴリズムの手順を学ぶのに依然として苦労している。 本研究では,ニューラルアーキテクチャの体系的一般化能力の研究に使用される合成ベンチマークのクラスである式単純化問題に焦点をあてる。 本稿では,最小限の学習例にのみ依存して,ネストした数式を解くための一般的な手順を学習するために設計されたモジュラーアーキテクチャを提案する。 シンボリック人工知能の古典的な枠組みであるシステム書き換えに触発された我々は、解決可能な部分表現を識別するために訓練されたセレクタ(Selector)と、それらの値にサブ表現をマッピングするソルバー(Solver)と、元の式でのサブ表現をソルバー(Solver)が提供する解に置き換えるコンビネータ(Compiner)という、3つの特殊かつ相互作用するモジュールをアーキテクチャに含めている。 我々は,系統的な一般化に特化した最近のモデルであるニューラル・データ・ルータと,先進的なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)とをベンチマークした。 本稿では,3種類の式単純化問題に対するこれらの代替手法と比較して,分布外一般化の程度が高いことを実証し,その限界を解析して考察する。

関連論文リスト

• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• A Hybrid System for Systematic Generalization in Simple Arithmetic Problems [70.91780996370326]
  本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。 提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-29T18:35:41Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Towards the One Learning Algorithm Hypothesis: A System-theoretic Approach [0.0]
  人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。 i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-04T05:54:33Z)
• Personalized Algorithm Generation: A Case Study in Meta-Learning ODE Integrators [6.457555233038933]
  科学計算における数値アルゴリズムのメタラーニングに関する研究 初期値問題の解法を自動的に学習する機械学習手法を開発した。
  論文  参考訳（メタデータ） (2021-05-04T05:42:33Z)
• Neuro-algorithmic Policies enable Fast Combinatorial Generalization [16.74322664734553]
  近年, 標準アーキテクチャの一般化は, 排他的データ取得後にのみ改善されることが示唆されている。 MDPフレームワークの特定のサブクラスに対して、これは神経アルゴリズムアーキテクチャーによって緩和できることを示す。 本稿では,ニューラルネットワークと組込み時間に依存した最短経路ソルバからなる自律神経系ポリシアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-02-15T11:07:59Z)
• Model-Based Machine Learning for Communications [110.47840878388453]
  モデルベースのアルゴリズムと機械学習をハイレベルな視点で組み合わせるための既存の戦略を見直します。 通信受信機の基本的なタスクの一つであるシンボル検出に注目する。
  論文  参考訳（メタデータ） (2021-01-12T19:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。