論文の概要: Implant Global and Local Hierarchy Information to Sequence based Code Representation Models

• arxiv url: http://arxiv.org/abs/2303.07826v1
• Date: Tue, 14 Mar 2023 12:01:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 15:21:48.467065
• Title: Implant Global and Local Hierarchy Information to Sequence based Code Representation Models
• Title（参考訳）: シーケンスベースコード表現モデルへのグローバルおよびローカル階層情報の埋め込み
• Authors: Kechi Zhang, Zhuo Li, Zhi Jin, Ge Li
• Abstract要約: 完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。 ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
• 参考スコア（独自算出の注目度）: 25.776540440893257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Source code representation with deep learning techniques is an important research field. There have been many studies that learn sequential or structural information for code representation. But sequence-based models and non-sequence-models both have their limitations. Researchers attempt to incorporate structural information to sequence-based models, but they only mine part of token-level hierarchical structure information. In this paper, we analyze how the complete hierarchical structure influences the tokens in code sequences and abstract this influence as a property of code tokens called hierarchical embedding. The hierarchical embedding is further divided into statement-level global hierarchy and token-level local hierarchy. Furthermore, we propose the Hierarchy Transformer (HiT), a simple but effective sequence model to incorporate the complete hierarchical embeddings of source code into a Transformer model. We demonstrate the effectiveness of hierarchical embedding on learning code structure with an experiment on variable scope detection task. Further evaluation shows that HiT outperforms SOTA baseline models and show stable training efficiency on three source code-related tasks involving classification and generation tasks across 8 different datasets.
• Abstract（参考訳）: ディープラーニング技術を用いたソースコード表現は重要な研究分野である。 コード表現のための逐次的または構造的な情報を学ぶ多くの研究がある。 しかし、シーケンスベースモデルと非シーケンスモデルの両方に制限がある。 研究者たちは、シーケンスベースのモデルに構造情報を組み込もうとするが、トークンレベルの階層構造情報の一部だけをマイニングする。 本稿では,完全な階層構造がコードシーケンスのトークンに与える影響を分析し,その影響を階層埋め込みと呼ばれるコードトークンの特性として抽象化する。 階層埋め込みはさらにステートメントレベルのグローバル階層とトークンレベルのローカル階層に分けられる。 さらに、ソースコードの完全な階層的埋め込みをトランスフォーマーモデルに組み込むための、単純だが効果的なシーケンスモデルである階層変換器(HiT)を提案する。 可変スコープ検出タスクの実験により,学習コード構造における階層埋め込みの有効性を実証する。 さらなる評価により、HiTはSOTAベースラインモデルより優れ、8つのデータセットにわたる分類および生成タスクを含む3つのソースコード関連タスクに対して安定したトレーニング効率を示す。

関連論文リスト

• Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework [75.79736930414715]
  本稿では,すべての利用可能なラベルを活用でき,クラス間の階層的関係を維持できる階層型多言語表現学習フレームワークを提案する。 比較損失に階層的ペナルティを併用し,その階層的制約を強制する。
  論文  参考訳（メタデータ） (2022-04-27T21:41:44Z)
• HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information [0.6443952406204634]
  本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。 3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
  論文  参考訳（メタデータ） (2022-03-17T21:49:26Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Recurrent Neural Networks with Mixed Hierarchical Structures for Natural Language Processing [13.960152426268767]
  階層構造は言語処理と自然言語処理の両方に存在している。 自然言語の階層的表現を学習するためにRNNを設計する方法は、長年にわたる課題である。 本稿では,静的境界と動的境界という2種類の境界を定義し,文書分類タスクのための多層階層構造を構築する。
  論文  参考訳（メタデータ） (2021-06-04T15:50:42Z)
• Hierarchical Learning for Generation with Long Source Sequences [4.851392124435261]
  我々は,複数のシーケンスから逐次タスクへ標準トランスフォーマーを上回る階層的アテンション・トランスフォーマティブ・ベース・アーキテクチャ(hat)を設計し,検討する。 本モデルでは,ArXiv,CNN/DM,SAMSum,AMIの4つの要約タスクに対して,最先端の成果を達成し,PubMed R1およびR2 SOTAをさらに推し進める。
  論文  参考訳（メタデータ） (2021-04-15T15:57:32Z)
• Inducing a hierarchy for multi-class classification problems [11.58041597483471]
  分類的ラベルが自然な階層に従ったアプリケーションでは、ラベル構造を利用する分類方法は、そうでないものをしばしば上回る。 本稿では,フラット分類器に対する分類性能を向上できる階層構造を誘導する手法のクラスについて検討する。 原理シミュレーションと3つの実データアプリケーションにおいて、潜入階層の発見と精度向上のためのメソッドのクラスの有効性を実証する。
  論文  参考訳（メタデータ） (2021-02-20T05:40:42Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Efficient strategies for hierarchical text classification: External knowledge and auxiliary tasks [3.5557219875516655]
  我々は、あるクラス分類の上位から下位まで、文書のカテゴリを予測するための一連の推論手順を実行する。 効率的なアプローチでは、よく知られた2つの英語データセットにおいて、パラメータを劇的に減らし、過去の研究を上回りました。
  論文  参考訳（メタデータ） (2020-05-05T20:22:18Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。