論文の概要: A Tree-structured Transformer for Program Representation Learning

• arxiv url: http://arxiv.org/abs/2208.08643v1
• Date: Thu, 18 Aug 2022 05:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 14:10:32.999115
• Title: A Tree-structured Transformer for Program Representation Learning
• Title（参考訳）: プログラム表現学習のための木構造トランス
• Authors: Wenhan Wang, Kechi Zhang, Ge Li, Shangqing Liu, Zhi Jin, Yang Liu
• Abstract要約: プログラムには長期/グローバルな依存関係が広く存在し、ほとんどのニューラルネットワークはこれらの依存関係をキャプチャできない。 本稿では,この制限を克服することを目的とした,新しい木構造ニューラルネットワークであるTree-Transformerを提案する。 ボトムアップとトップダウンの伝搬を組み合わせることで、Tree-Transformerはグローバルコンテキストと有意義なノード機能の両方を学ぶことができる。
• 参考スコア（独自算出の注目度）: 27.31416015946351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When using deep learning techniques to model program languages, neural networks with tree or graph structures are widely adopted to capture the rich structural information within program abstract syntax trees (AST). However, long-term/global dependencies widely exist in programs, and most of these neural architectures fail to capture these dependencies. In this paper, we propose Tree-Transformer, a novel recursive tree-structured neural network which aims to overcome the above limitations. Tree-Transformer leverages two multi-head attention units to model the dependency between siblings and parent-children node pairs. Moreover, we propose a bi-directional propagation strategy to allow node information passing in two directions: bottom-up and top-down along trees. By combining bottom-up and top-down propagation, Tree-Transformer can learn both global contexts and meaningful node features. The extensive experimental results show that our Tree-Transformer outperforms existing tree-based or graph-based neural networks in program-related tasks with tree-level and node-level prediction tasks, indicating that Tree-Transformer performs well on learning both tree-level and node-level representations.
• Abstract（参考訳）: ディープラーニング技術を用いてプログラム言語をモデル化する場合、プログラム抽象構文木(AST)内の豊富な構造情報をキャプチャするために、木やグラフ構造を持つニューラルネットワークが広く採用されている。 しかしながら、長期的な/グローバルな依存関係はプログラムに広く存在し、これらのニューラルアーキテクチャのほとんどは、これらの依存関係を捉えることができない。 本稿では,上記の制約を克服しようとする新しい再帰的木構造ニューラルネットワークであるtree-transformerを提案する。 Tree-Transformerは2つのマルチヘッドアテンションユニットを利用して、兄弟姉妹と親子ノードペア間の依存性をモデル化する。 さらに,木に沿ったボトムアップとトップダウンの2方向にノード情報を伝達する双方向伝搬戦略を提案する。 ボトムアップとトップダウンの伝搬を組み合わせることで、Tree-Transformerはグローバルコンテキストと有意義なノード機能の両方を学ぶことができる。 広範な実験結果から,木レベルおよびノードレベルの予測タスクでは,既存の木ベースあるいはグラフベースのニューラルネットワークよりも優れており,木レベルの表現とノードレベルの表現の両方を学習する上で,木変換が有効であることが示された。

関連論文リスト

• HetTree: Heterogeneous Tree Graph Neural Network [12.403166161903378]
  HetTreeは、グラフ構造とヘテロジニアスの両方をモデル化する、新しいヘテロジニアスツリーグラフニューラルネットワークである。 HetTreeは、メタパス間の階層をキャプチャするために、セマンティックツリーデータ構造を構築する。 さまざまな実世界のデータセット上でのHetTreeの評価は、既存のすべてのベースラインをオープンベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-21T03:14:45Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained Visual Categorization [56.37520969273242]
  細かな視覚分類のための新しいアプローチであるViTreeを紹介する。 ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。 このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
  論文  参考訳（メタデータ） (2024-01-30T14:32:25Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• DeepTree: Modeling Trees with Situated Latents [8.372189962601073]
  そこで本研究では,木を手作業で定義するのではなく,分岐構造に対する発達規則を学習する手法を提案する。 我々は、その振る舞いが本質的な状態によって決定されるため、潜伏状態にあるディープニューラルモデル(deep Neural model)と呼ぶ。 本手法では,複雑なパラメータを定義することなく,多様な木形を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:14Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• GTNet: A Tree-Based Deep Graph Learning Architecture [8.50892442127182]
  本稿では,グラフのツリー表現から派生した,新しい汎用メッセージパッシング方式を用いた深層グラフ学習アーキテクチャを提案する。 2つのグラフ表現学習モデルが提案されている。GTNetアーキテクチャ - Graph Tree Attention Network (GTAN) と Graph Tree Convolution Network (GTCN) である。
  論文  参考訳（メタデータ） (2022-04-27T09:43:14Z)
• Graph Tree Neural Networks [0.43012765978447565]
  グラフツリーニューラルネットワーク(GTNN)は、人間のニューラルネットワークの構造を分析することによって、既存のネットワークの問題を解決するように設計されている。 GTNNでは、情報ユニットはグラフの形式と関連付けられ、その後再び大きな情報の単位となり、他の情報ユニットと関係を持つ。
  論文  参考訳（メタデータ） (2021-10-31T07:58:00Z)
• Structural Optimization Makes Graph Classification Simpler and Better [5.770986723520119]
  モデル学習プロセスを簡素化しつつ,グラフ分類性能の向上の可能性を検討する。 構造情報アセスメントの進歩に触発されて、グラフから木をコードするデータサンプルを最適化する。 本稿では,木カーネルと畳み込みネットワークにこのスキームを実装し,グラフ分類を行う。
  論文  参考訳（メタデータ） (2021-09-05T08:54:38Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。