論文の概要: Recurrent Aggregators in Neural Algorithmic Reasoning

• arxiv url: http://arxiv.org/abs/2409.07154v1
• Date: Wed, 11 Sep 2024 09:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 15:02:58.597783
• Title: Recurrent Aggregators in Neural Algorithmic Reasoning
• Title（参考訳）: ニューラルアルゴリズム推論における繰り返しアグリゲータ
• Authors: Kaijia Xu, Petar Veličković,
• Abstract要約: 我々は同変アグリゲーション関数をリカレントニューラルネットワークで置き換える。 我々のアプローチは、ノードが自然な順序付けを持つとき、適切に接地する。 RNARの顕著な成果は、HapsortとQuickselectタスクにおける最先端の結果である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural algorithmic reasoning (NAR) is an emerging field that seeks to design neural networks that mimic classical algorithmic computations. Today, graph neural networks (GNNs) are widely used in neural algorithmic reasoners due to their message passing framework and permutation equivariance. In this extended abstract, we challenge this design choice, and replace the equivariant aggregation function with a recurrent neural network. While seemingly counter-intuitive, this approach has appropriate grounding when nodes have a natural ordering -- and this is the case frequently in established reasoning benchmarks like CLRS-30. Indeed, our recurrent NAR (RNAR) model performs very strongly on such tasks, while handling many others gracefully. A notable achievement of RNAR is its decisive state-of-the-art result on the Heapsort and Quickselect tasks, both deemed as a significant challenge for contemporary neural algorithmic reasoners -- especially the latter, where RNAR achieves a mean micro-F1 score of 87%.
• Abstract（参考訳）: ニューラルネットワーク推論(英: Neural Algorithmic reasoning, NAR)は、古典的なアルゴリズム計算を模倣するニューラルネットワークを設計しようとする新興分野である。 今日では、グラフニューラルネットワーク(GNN)は、メッセージパッシングフレームワークと置換等価性のため、ニューラルネットワークの推論に広く使われている。 この拡張抽象化では、この設計選択に挑戦し、同変アグリゲーション関数をリカレントニューラルネットワークで置き換える。 一見直感に反するように見えるが、このアプローチはノードが自然に順序付けされている場合に適切な根拠を与える -- CLRS-30のような確立した推論ベンチマークでは、これが頻繁に発生する。 実際、我々のリカレントNAR(RNAR)モデルは、他の多くのタスクを優雅に処理しながら、そのようなタスクに対して非常に強く機能します。 RNARの顕著な成果は、HeapsortとQuickselectタスクにおける最先端の成果であり、どちらも現代のアルゴリズム推論者にとって重要な課題だと考えられている。

関連論文リスト

• Non-convolutional Graph Neural Networks [46.79328529882998]
  畳み込み演算子を完全に含まない単純なグラフ学習モジュールを設計し、RUMニューラルネットワークを用いたランダムウォークを作成した。 RUMは競合する性能を実現するが、より堅牢で、メモリ効率が高く、スケーラブルで、最も単純な畳み込みGNNよりも高速である。
  論文  参考訳（メタデータ） (2024-07-31T21:29:26Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN [19.551319330414085]
  スパイキングニューラルネットワーク(RSNN)は、計算的に効率的で脳に触発された学習モデルとして登場した。 伝統的に、スパースSNNは、まずターゲットタスクのために密度が高く複雑なSNNを訓練することによって得られる。 本稿では,大きめのランダムモデルを用いて,スパースRSNNを設計するためのタスク依存手法を提案する。
  論文  参考訳（メタデータ） (2024-03-06T02:36:15Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks [1.8515971640245998]
  スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。 本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
  論文  参考訳（メタデータ） (2021-03-12T10:27:29Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Neural Bipartite Matching [19.600193617583955]
  本稿では,ニューラルネットワークが複雑なアルゴリズムに適用される方法について述べる。 単一のGNNから生成された機能のみに基づいて、ニューラル実行によって実現される。 評価の結果,ネットワークがほぼ100%の時間で最適なマッチングを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-22T17:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。