論文の概要: Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation

• arxiv url: http://arxiv.org/abs/2507.04003v1
• Date: Sat, 05 Jul 2025 11:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.969343
• Title: Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
• Title（参考訳）: ソースコード表現のための変圧器モデルへのツリーベース位置埋め込みのシームレスな統合
• Authors: Patryk Bartkowiak, Filip Graliński,
• Abstract要約: 抽象構文木(AST)由来の階層的関係を明示的にエンコードする新しい木に基づく位置埋め込み手法を提案する。 これらの階層的な埋め込みはトランスフォーマーアーキテクチャに統合され、特にCodeBERTaモデルを拡張している。 実験の結果,Tree-Enhanced CodeBERTaは損失,精度,F1スコア,精度,リコールの点で,一貫してベースラインモデルを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have demonstrated significant success in various source code representation tasks. Nonetheless, traditional positional embeddings employed by these models inadequately capture the hierarchical structure intrinsic to source code, typically represented as Abstract Syntax Trees (ASTs). To address this, we propose a novel tree-based positional embedding approach that explicitly encodes hierarchical relationships derived from ASTs, including node depth and sibling indices. These hierarchical embeddings are integrated into the transformer architecture, specifically enhancing the CodeBERTa model. We thoroughly evaluate our proposed model through masked language modeling (MLM) pretraining and clone detection fine-tuning tasks. Experimental results indicate that our Tree-Enhanced CodeBERTa consistently surpasses the baseline model in terms of loss, accuracy, F1 score, precision, and recall, emphasizing the importance of incorporating explicit structural information into transformer-based representations of source code.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、様々なソースコード表現タスクで大きな成功を収めている。 それでも、これらのモデルで使用される伝統的な位置埋め込みは、ソースコードに固有の階層構造を不適切に捉えておらず、一般的に抽象構文木(AST)として表される。 そこで本研究では,ASTから導出される階層的関係を,ノードの深さや兄弟の指数を含む明示的にエンコードする,木に基づく新しい位置埋め込み手法を提案する。 これらの階層的な埋め込みはトランスフォーマーアーキテクチャに統合され、特にCodeBERTaモデルを拡張している。 マスク付き言語モデリング(MLM)の事前学習とクローン検出による微調整タスクにより,提案モデルの有効性を徹底的に評価する。 実験結果から,提案するTree-Enhanced CodeBERTaは損失,精度,F1スコア,精度,リコールの点において,ソースコードのトランスフォーマーベース表現に明示的な構造情報を組み込むことの重要性を強調した。

関連論文リスト

• Hierarchical Quantized Diffusion Based Tree Generation Method for Hierarchical Representation and Lineage Analysis [49.00783841494125]
  HDTreeは階層的潜在空間内の木関係を、統一的な階層的コードブックと量子化拡散プロセスを用いてキャプチャする。 HDTreeの有効性は、汎用データセットと単一セルデータセットの比較によって示される。 これらの貢献は階層的な系統解析のための新しいツールを提供し、より正確で効率的な細胞分化経路のモデリングを可能にする。
  論文  参考訳（メタデータ） (2025-06-29T15:19:13Z)
• Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks [3.912345988363511]
  本稿では、回帰課題の文脈において、木に基づくニューラルネットワークモデルの振る舞いを復号化するための取り組みを行う。 我々は,ツリーベースのCNN,Code2Vec,Transformerベースのメソッドといった確立されたモデルの応用を拡張し,ASTに解析することでソースコードの実行時間を予測する。 提案するデュアルトランスは,多様なデータセットにまたがる顕著な適応性とロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T11:47:14Z)
• Transformer Architecture for NetsDB [0.0]
  我々はNetsDBで機能するディープラーニングモデルのためのトランスフォーマーのエンドツーエンド実装を作成します。 分散処理、デプロイメント、効率的な推論のために、当社のモデルから重みをロードします。
  論文  参考訳（メタデータ） (2024-05-08T04:38:36Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Implant Global and Local Hierarchy Information to Sequence based Code Representation Models [25.776540440893257]
  完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。 ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:01:39Z)
• SIT3: Code Summarization with Structure-Induced Transformer [48.000063280183376]
  シーケンシャル入力を高効率な構造モデリングでエンコードする構造誘起自己保持に基づく新しいモデルを提案する。 新たに提案したモデルでは,一般的なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2020-12-29T11:37:43Z)
• GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction [134.5580003327839]
  本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。 我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-21T01:07:36Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。