論文の概要: Recursive Algorithmic Reasoning

• arxiv url: http://arxiv.org/abs/2307.00337v2
• Date: Mon, 20 Nov 2023 21:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 05:03:02.429091
• Title: Recursive Algorithmic Reasoning
• Title（参考訳）: 再帰的アルゴリズム推論
• Authors: Jonas J\"ur{\ss}, Dulhan Jayalath, Petar Veli\v{c}kovi\'c
• Abstract要約: 本稿では,グラフニューラルネットワーク(GNN)をスタックで拡張する方法を提案する。 このスタックにより、ネットワークは特定のタイミングでネットワークの状態の一部を保存およびリコールすることを学ぶことができる。 私たちが提案した提案は、deep-first search (DFS) の先行研究よりも、より大きな入力グラフへの一般化を著しく改善していることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 5.877778007271621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning models that execute algorithms can enable us to address a key problem in deep learning: generalizing to out-of-distribution data. However, neural networks are currently unable to execute recursive algorithms because they do not have arbitrarily large memory to store and recall state. To address this, we (1) propose a way to augment graph neural networks (GNNs) with a stack, and (2) develop an approach for capturing intermediate algorithm trajectories that improves algorithmic alignment with recursive algorithms over previous methods. The stack allows the network to learn to store and recall a portion of the state of the network at a particular time, analogous to the action of a call stack in a recursive algorithm. This augmentation permits the network to reason recursively. We empirically demonstrate that our proposals significantly improve generalization to larger input graphs over prior work on depth-first search (DFS).
• Abstract（参考訳）: アルゴリズムを実行する学習モデルは、ディープラーニングにおける重要な問題に対処することができる。 しかし、ニューラルネットワークは現在、状態の保存とリコールに任意に大きなメモリを持たないため、再帰的アルゴリズムを実行できない。 これを解決するために,(1)グラフニューラルネットワーク(GNN)をスタックで拡張する方法を提案し,(2)従来の手法よりもアルゴリズムと再帰的アルゴリズムとの整合性を改善する中間アルゴリズムトラジェクトリを捕捉する手法を開発した。 このスタックにより、ネットワークは、再帰アルゴリズムにおけるコールスタックの動作に類似した、ネットワークの状態の一部を特定の時間に格納し、リコールすることを学ぶことができる。 この拡張により、ネットワークは再帰的に推論できる。 提案手法は,deep-first search (DFS) の先行研究よりも,より大きな入力グラフへの一般化が著しく向上することを示す。

関連論文リスト

• Deep Equilibrium Algorithmic Reasoning [18.651333116786084]
  我々は異なる観点からニューラルネットワークの解法を研究する。 アルゴリズムの解はしばしば平衡であるため、平衡方程式を解くことによって直接解を見つけることができる。 我々のアプローチでは、列車とテスト時間の両方において、アルゴリズムの実際のステップ数に関する情報を必要としない。
  論文  参考訳（メタデータ） (2024-10-19T10:40:55Z)
• Neural Algorithmic Reasoning with Multiple Correct Solutions [16.045068056647676]
  一部のアプリケーションでは、複数の正しい解を回収することが望ましい。 BF(Bellman-Ford)とDFS(Depth-First Search)の2つの古典的アルゴリズムで本手法を実証する。 この方法は、モデル出力からソリューションをサンプリングし、検証するだけでなく、適切なトレーニングデータを生成することを含む。
  論文  参考訳（メタデータ） (2024-09-11T02:29:53Z)
• Memory-aware Scheduling for Complex Wired Networks with Iterative Graph Optimization [4.614780125575351]
  本稿では,反復グラフ最適化に基づく効率的なメモリ認識スケジューリングフレームワークを提案する。 我々のフレームワークは、スケジューリングの最適性を保ちながらグラフを単純化する反復グラフ融合アルゴリズムを備えている。
  論文  参考訳（メタデータ） (2023-08-26T14:52:02Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Learning with Differentiable Algorithms [6.47243430672461]
  この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。 さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-01T17:30:00Z)
• The CLRS Algorithmic Reasoning Benchmark [28.789225199559834]
  アルゴリズムの学習表現は機械学習の新たな領域であり、ニューラルネットワークから古典的なアルゴリズムで概念をブリッジしようとしている。 本稿では,従来のアルゴリズムを包括するCLRS Algorithmic Reasoning Benchmarkを提案する。 我々のベンチマークは、ソート、探索、動的プログラミング、グラフアルゴリズム、文字列アルゴリズム、幾何アルゴリズムなど、様々なアルゴリズムの推論手順にまたがっている。
  論文  参考訳（メタデータ） (2022-05-31T09:56:44Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。