論文の概要: Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks
- arxiv url: http://arxiv.org/abs/2010.12621v1
- Date: Fri, 23 Oct 2020 19:12:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 23:35:37.161550
- Title: Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks
- Title（参考訳）: 命令ポインター注意グラフニューラルネットワークによるプログラム実行の学習
- Authors: David Bieber, Charles Sutton, Hugo Larochelle, Daniel Tarlow
- Abstract要約: グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。
本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
- 参考スコア（独自算出の注目度）: 55.98291376393561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have emerged as a powerful tool for learning
software engineering tasks including code completion, bug finding, and program
repair. They benefit from leveraging program structure like control flow
graphs, but they are not well-suited to tasks like program execution that
require far more sequential reasoning steps than number of GNN propagation
steps. Recurrent neural networks (RNNs), on the other hand, are well-suited to
long sequential chains of reasoning, but they do not naturally incorporate
program structure and generally perform worse on the above tasks. Our aim is to
achieve the best of both worlds, and we do so by introducing a novel GNN
architecture, the Instruction Pointer Attention Graph Neural Networks
(IPA-GNN), which achieves improved systematic generalization on the task of
learning to execute programs using control flow graphs. The model arises by
considering RNNs operating on program traces with branch decisions as latent
variables. The IPA-GNN can be seen either as a continuous relaxation of the RNN
model or as a GNN variant more tailored to execution. To test the models, we
propose evaluating systematic generalization on learning to execute using
control flow graphs, which tests sequential reasoning and use of program
structure. More practically, we evaluate these models on the task of learning
to execute partial programs, as might arise if using the model as a heuristic
function in program synthesis. Results show that the IPA-GNN outperforms a
variety of RNN and GNN baselines on both tasks.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、コード補完、バグ発見、プログラム修復を含むソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
制御フローグラフのようなプログラム構造を利用するメリットがあるが、GNNの伝播ステップの数よりもはるかにシーケンシャルな推論ステップを必要とするプログラム実行のようなタスクには適していない。
一方、リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいないため、上記のタスクでは一般的に悪化する。
我々の目的は両方の世界の長所を達成することであり、制御フローグラフを用いたプログラム実行の学習における体系的な一般化を実現する新しいGNNアーキテクチャであるインストラクションポインターアテンショングラフニューラルネットワーク(IPA-GNN)を導入することで実現している。
このモデルは、プログラムトレースで動作するRNNと、分岐決定を潜時変数として考えることで生まれる。
IPA-GNNは、RNNモデルの継続的緩和か、より実行に適したGNN変種と見なすことができる。
このモデルをテストするために,制御フローグラフを用いて学習の体系的一般化を評価し,逐次的推論とプログラム構造の使用を検証した。
さらに, プログラム合成におけるヒューリスティック関数としてモデルを用いる場合のように, 部分プログラムの実行を学習するタスクでこれらのモデルを評価する。
その結果,IPA-GNN は RNN と GNN の両タスクのベースラインよりも優れていた。
関連論文リスト
- LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。
我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。
両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2024-05-22T18:17:20Z) - Characterizing the Efficiency of Graph Neural Network Frameworks with a
Magnifying Glass [10.839902229218577]
グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。
近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。
グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
論文 参考訳（メタデータ） (2022-11-06T04:22:19Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking
Systems [4.1591055164123665]
本稿では,ネットワークシステムのためのグラフニューラルネットワーク(GNN)の高速プロトタイピングを可能にする,新しいオープンソースフレームワークIGNNITIONを提案する。
IGNNITIONは、GNNの背後にある複雑さを隠す直感的な高レベルの抽象化に基づいている。
IGNNITIONが生成するGNNモデルは,ネイティブ実装の精度と性能の点で同等であることを示す。
論文 参考訳（メタデータ） (2021-09-14T14:28:21Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。
グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。
私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
論文 参考訳（メタデータ） (2020-12-20T04:20:38Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳（メタデータ） (2020-03-14T05:45:55Z) - Efficient Probabilistic Logic Reasoning with Graph Neural Networks [63.099999467118245]
マルコフ論理ネットワーク(MLN)は、多くの知識グラフ問題に対処するために用いられる。
MLNの推論は計算集約的であり、MLNの産業規模での応用は非常に困難である。
本稿では,表現力とモデルの単純さとのバランスのよいグラフニューラルネット(GNN)モデルであるExpressGNNを提案する。
論文 参考訳（メタデータ） (2020-01-29T23:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。