論文の概要: Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks
- arxiv url: http://arxiv.org/abs/2406.11437v1
- Date: Mon, 17 Jun 2024 11:47:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 15:01:35.562622
- Title: Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks
- Title（参考訳）: 回帰作業における木系ニューラルネットワークの挙動解析
- Authors: Peter Samoaa, Mehrdad Farahani, Antonio Longa, Philipp Leitner, Morteza Haghir Chehreghani,
- Abstract要約: 本稿では、回帰課題の文脈において、木に基づくニューラルネットワークモデルの振る舞いを復号化するための取り組みを行う。
我々は,ツリーベースのCNN,Code2Vec,Transformerベースのメソッドといった確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。
提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
- 参考スコア（独自算出の注目度）: 3.912345988363511
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The landscape of deep learning has vastly expanded the frontiers of source code analysis, particularly through the utilization of structural representations such as Abstract Syntax Trees (ASTs). While these methodologies have demonstrated effectiveness in classification tasks, their efficacy in regression applications, such as execution time prediction from source code, remains underexplored. This paper endeavours to decode the behaviour of tree-based neural network models in the context of such regression challenges. We extend the application of established models--tree-based Convolutional Neural Networks (CNNs), Code2Vec, and Transformer-based methods--to predict the execution time of source code by parsing it to an AST. Our comparative analysis reveals that while these models are benchmarks in code representation, they exhibit limitations when tasked with regression. To address these deficiencies, we propose a novel dual-transformer approach that operates on both source code tokens and AST representations, employing cross-attention mechanisms to enhance interpretability between the two domains. Furthermore, we explore the adaptation of Graph Neural Networks (GNNs) to this tree-based problem, theorizing the inherent compatibility due to the graphical nature of ASTs. Empirical evaluations on real-world datasets showcase that our dual-transformer model outperforms all other tree-based neural networks and the GNN-based models. Moreover, our proposed dual transformer demonstrates remarkable adaptability and robust performance across diverse datasets.
- Abstract（参考訳）: ディープラーニングの展望は、特に抽象構文木(AST)のような構造表現の利用を通じて、ソースコード解析のフロンティアを大きく広げてきた。
これらの手法は分類作業における有効性を示しているが、ソースコードからの実行時間予測などの回帰アプリケーションにおける有効性は未定である。
本稿では,木に基づくニューラルネットワークモデルの振る舞いを,そのような回帰的課題の文脈でデコードする試みについて述べる。
我々は,ツリーベースの畳み込みニューラルネットワーク(CNN),Code2Vec,Transformerベースのメソッドなど,確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。
比較分析の結果,これらのモデルがコード表現のベンチマークであるのに対して,回帰処理を行う場合の制限が示されることがわかった。
これらの欠陥に対処するため,ソースコードトークンとAST表現の両方で動作する新しいデュアルトランスフォーマ手法を提案する。
さらに、この木に基づく問題へのグラフニューラルネットワーク(GNN)の適用について検討し、ASTのグラフィカルな性質による固有の互換性を理論的に論じる。
実世界のデータセットに関する実証的な評価では、我々のデュアルトランスフォーマーモデルは、他の木ベースのニューラルネットワークやGNNベースのモデルよりも優れています。
さらに,提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
関連論文リスト
- Distance Recomputator and Topology Reconstructor for Graph Neural Networks [22.210886585639063]
グラフニューラルネットワーク(GNN)の強化を目的とした距離再計算手法とトポロジー再構成手法を導入する。
Distance Recomputatorは動的符号化方式を用いてノード距離を動的に補正し、ノード表現の精度と適応性を向上させる。
トポロジー再構成器は、計算された「類似性距離」に基づいて局所グラフ構造を調整し、学習結果を改善するためにネットワーク構成を最適化する。
論文 参考訳（メタデータ） (2024-06-25T05:12:51Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳（メタデータ） (2022-04-14T15:14:08Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Interpolation between Residual and Non-Residual Networks [24.690238357686134]
ダンピング項を追加することで,新しいODEモデルを提案する。
提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。
複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2020-06-10T09:36:38Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。