論文の概要: Advanced Graph-Based Deep Learning for Probabilistic Type Inference

• arxiv url: http://arxiv.org/abs/2009.05949v2
• Date: Sun, 14 Nov 2021 06:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 03:25:00.623657
• Title: Advanced Graph-Based Deep Learning for Probabilistic Type Inference
• Title（参考訳）: 確率型推論のための高度なグラフベース深層学習
• Authors: Fangke Ye, Jisheng Zhao, Vivek Sarkar
• Abstract要約: 本稿では,新しい型フローグラフ(TFG)表現で動作するグラフニューラルネットワーク(GNN)モデルについて紹介する。 我々のGNNモデルは、所定の入力プログラムに対してTFGの型ラベルを予測するために訓練されている。 我々の2つのGNN構成の精度は、それぞれ87.76%と86.89%である。
• 参考スコア（独自算出の注目度）: 0.8508198765617194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamically typed languages such as JavaScript and Python have emerged as the most popular programming languages in use. Important benefits can accrue from including type annotations in dynamically typed programs. This approach to gradual typing is exemplified by the TypeScript programming system which allows programmers to specify partially typed programs, and then uses static analysis to infer the remaining types. However, in general, the effectiveness of static type inference is limited and depends on the complexity of the program's structure and the initial type annotations. As a result, there is a strong motivation for new approaches that can advance the state of the art in statically predicting types in dynamically typed programs, and that do so with acceptable performance for use in interactive programming environments. Previous work has demonstrated the promise of probabilistic type inference using deep learning. In this paper, we advance past work by introducing a range of graph neural network (GNN) models that operate on a novel type flow graph (TFG) representation. The TFG represents an input program's elements as graph nodes connected with syntax edges and data flow edges, and our GNN models are trained to predict the type labels in the TFG for a given input program. We study different design choices for our GNN models for the 100 most common types in our evaluation dataset, and show that our best two GNN configurations for accuracy achieve a top-1 accuracy of 87.76% and 86.89% respectively, outperforming the two most closely related deep learning type inference approaches from past work -- DeepTyper with a top-1 accuracy of 84.62% and LambdaNet with a top-1 accuracy of 79.45%. Further, the average inference throughputs of those two configurations are 353.8 and 1,303.9 files/second, compared to 186.7 files/second for DeepTyper and 1,050.3 files/second for LambdaNet.
• Abstract（参考訳）: JavaScriptやPythonのような動的型付け言語が、最も人気のあるプログラミング言語として登場した。 重要な利点は動的型付けプログラムに型アノテーションを含めることから得られる。 段階的な型付けのこのアプローチはTypeScriptプログラミングシステムで例示されており、プログラマは部分的に型付けされたプログラムを指定でき、静的解析を使用して残りの型を推測することができる。 しかし、一般的に静的型推論の有効性は限られており、プログラムの構造と初期型アノテーションの複雑さに依存している。 その結果,動的型付けプログラムでは静的に型を予測し,対話型プログラミング環境での使用が許容できる性能で,静的型付きプログラムの静的型予測において,技術の現状を推し進める新たなアプローチへのモチベーションが強まった。 これまでの研究では、ディープラーニングを用いた確率型推論の可能性を実証している。 本稿では,新しい型フローグラフ(TFG)表現を演算するグラフニューラルネットワーク(GNN)モデルを導入することにより,過去の研究を進展させる。 TFGは、構文エッジとデータフローエッジに連結されたグラフノードとして入力プログラムの要素を表現し、GNNモデルは、所定の入力プログラムに対してTFGの型ラベルを予測するために訓練される。 我々は、評価データセットで最も一般的な100種類のGNNモデルに対して、異なる設計選択について検討し、最も優れた2つのGNN構成が、それぞれ87.76%と86.89%のトップ1の精度を達成し、過去の2つの最も密接に関連するディープラーニング型推論アプローチ -- DeepTyperの84.62%、LambdaNetの79.45%を上回りました。 さらに、これらの2つの構成の平均推論スループットは、1,303.9ファイル/秒であり、DeepTyperでは186.7ファイル/秒、LambdaNetでは1,050.3ファイル/秒である。

関連論文リスト

• Inferring Pluggable Types with Machine Learning [0.3867363075280544]
  本稿では,機械学習を用いて型付き修飾子を自動的に推論する方法について検討する。 本稿では,最小限のデータフローヒントを符号化した新しい表現NaP-ASTを提案する。
  論文  参考訳（メタデータ） (2024-06-21T22:32:42Z)
• Learning Type Inference for Enhanced Dataflow Analysis [6.999203506253375]
  我々は、型アノテーションを確実に予測するように訓練されたTransformerベースのモデルであるCodeTIDAL5を提案する。 私たちのモデルは、MaryTypes4TypeScriptベンチマークで現在の最先端を7.85%上回っています。 JoernTIは、オープンソースの静的解析ツールであるJoernへの私たちのアプローチの統合です。
  論文  参考訳（メタデータ） (2023-10-01T13:52:28Z)
• Generative Type Inference for Python [62.01560866916557]
  本稿では静的解析から静的ドメイン知識を取り入れた数ショットの生成型推論手法であるTypeGenを紹介する。 TypeGenは、静的解析の型推論ステップを、型依存グラフ(TDG)に基づいたプロンプトに変換することで、COTプロンプトを生成する。 実験の結果、TypeGenは引数型予測では10.0%、Top-1 Exact Matchでは22.5%で最高のベースラインであるType4Pyを上回っている。
  論文  参考訳（メタデータ） (2023-07-18T11:40:31Z)
• Type Prediction With Program Decomposition and Fill-in-the-Type Training [2.7998963147546143]
  大規模な言語モデルを活用する型予測のための検索ベースのアプローチであるOpenTauを構築した。 TypeScriptの型予測のための新しいデータセットで作業を評価し、ファイルタイプチェックの47.4%(14.5%の絶対的改善)とファイル毎の3.3型のエラー率を示している。
  論文  参考訳（メタデータ） (2023-05-25T21:16:09Z)
• TypeT5: Seq2seq Type Inference using Static Analysis [51.153089609654174]
  本稿では,型予測をコード入力タスクとして扱う新しい型推論手法を提案する。 本手法では静的解析を用いて,型シグネチャがモデルによって予測されるコード要素毎に動的コンテキストを構築する。 また,モデルの入力コンテキストに事前の型予測を組み込んだ反復復号方式を提案する。
  論文  参考訳（メタデータ） (2023-03-16T23:48:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• LambdaNet: Probabilistic Type Inference using Graph Neural Networks [46.66093127573704]
  本稿では,グラフニューラルネットワークに基づくTypeScriptの確率型推論手法を提案する。 弊社のアプローチでは、数値や文字列などの標準型と、トレーニング中に遭遇していないユーザ定義型の両方を予測できる。
  論文  参考訳（メタデータ） (2020-04-29T17:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。