論文の概要: Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks
- arxiv url: http://arxiv.org/abs/2406.11437v1
- Date: Mon, 17 Jun 2024 11:47:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 15:01:35.562622
- Title: Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks
- Title（参考訳）: 回帰作業における木系ニューラルネットワークの挙動解析
- Authors: Peter Samoaa, Mehrdad Farahani, Antonio Longa, Philipp Leitner, Morteza Haghir Chehreghani,
- Abstract要約: 本稿では、回帰課題の文脈において、木に基づくニューラルネットワークモデルの振る舞いを復号化するための取り組みを行う。
我々は,ツリーベースのCNN,Code2Vec,Transformerベースのメソッドといった確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。
提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
- 参考スコア（独自算出の注目度）: 3.912345988363511
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The landscape of deep learning has vastly expanded the frontiers of source code analysis, particularly through the utilization of structural representations such as Abstract Syntax Trees (ASTs). While these methodologies have demonstrated effectiveness in classification tasks, their efficacy in regression applications, such as execution time prediction from source code, remains underexplored. This paper endeavours to decode the behaviour of tree-based neural network models in the context of such regression challenges. We extend the application of established models--tree-based Convolutional Neural Networks (CNNs), Code2Vec, and Transformer-based methods--to predict the execution time of source code by parsing it to an AST. Our comparative analysis reveals that while these models are benchmarks in code representation, they exhibit limitations when tasked with regression. To address these deficiencies, we propose a novel dual-transformer approach that operates on both source code tokens and AST representations, employing cross-attention mechanisms to enhance interpretability between the two domains. Furthermore, we explore the adaptation of Graph Neural Networks (GNNs) to this tree-based problem, theorizing the inherent compatibility due to the graphical nature of ASTs. Empirical evaluations on real-world datasets showcase that our dual-transformer model outperforms all other tree-based neural networks and the GNN-based models. Moreover, our proposed dual transformer demonstrates remarkable adaptability and robust performance across diverse datasets.
- Abstract（参考訳）: ディープラーニングの展望は、特に抽象構文木(AST)のような構造表現の利用を通じて、ソースコード解析のフロンティアを大きく広げてきた。
これらの手法は分類作業における有効性を示しているが、ソースコードからの実行時間予測などの回帰アプリケーションにおける有効性は未定である。
本稿では,木に基づくニューラルネットワークモデルの振る舞いを,そのような回帰的課題の文脈でデコードする試みについて述べる。
我々は,ツリーベースの畳み込みニューラルネットワーク(CNN),Code2Vec,Transformerベースのメソッドなど,確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。
比較分析の結果,これらのモデルがコード表現のベンチマークであるのに対して,回帰処理を行う場合の制限が示されることがわかった。
これらの欠陥に対処するため,ソースコードトークンとAST表現の両方で動作する新しいデュアルトランスフォーマ手法を提案する。
さらに、この木に基づく問題へのグラフニューラルネットワーク(GNN)の適用について検討し、ASTのグラフィカルな性質による固有の互換性を理論的に論じる。
実世界のデータセットに関する実証的な評価では、我々のデュアルトランスフォーマーモデルは、他の木ベースのニューラルネットワークやGNNベースのモデルよりも優れています。
さらに,提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
関連論文リスト
- An unified approach to link prediction in collaboration networks [0.0]
本稿では、協調ネットワークにおけるリンク予測の3つのアプローチについて検討し、比較する。
ERGMはネットワーク内の一般的な構造パターンをキャプチャするために使用される。
GCNとWord2Vec+MLPモデルはディープラーニング技術を利用してノードとその関係の適応的構造表現を学習する。
論文 参考訳（メタデータ） (2024-11-01T22:40:39Z) - Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。
また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。
本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
論文 参考訳（メタデータ） (2024-10-13T02:22:14Z) - Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract) [56.55728466130238]
本稿では,変換器の回帰能力をGNNのリンク予測強度と統合することを目的とした新しいMPGrafモデルを提案する。
我々は、MPGrafの性能を厳格に評価するために、大規模なオフラインおよびオンライン実験を行っている。
論文 参考訳（メタデータ） (2024-09-25T03:33:47Z) - GINTRIP: Interpretable Temporal Graph Regression using Information bottleneck and Prototype-based method [7.570969633244954]
本稿では,時間グラフ回帰モデルの解釈可能性を高める新しい手法を提案する。
IB原則の適用性をグラフ回帰タスクに拡張する、相互情報(MI)に基づく新たな理論的境界を導出する。
本モデルは実世界のトラフィックデータセットに基づいて評価され,予測精度と解釈可能性関連指標の両方において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-17T08:58:40Z) - Distance Recomputator and Topology Reconstructor for Graph Neural Networks [22.210886585639063]
グラフニューラルネットワーク(GNN)の強化を目的とした距離再計算手法とトポロジー再構成手法を導入する。
Distance Recomputatorは動的符号化方式を用いてノード距離を動的に補正し、ノード表現の精度と適応性を向上させる。
トポロジー再構成器は、計算された「類似性距離」に基づいて局所グラフ構造を調整し、学習結果を改善するためにネットワーク構成を最適化する。
論文 参考訳（メタデータ） (2024-06-25T05:12:51Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳（メタデータ） (2022-04-14T15:14:08Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。