論文の概要: Implant Global and Local Hierarchy Information to Sequence based Code Representation Models

• arxiv url: http://arxiv.org/abs/2303.07826v1
• Date: Tue, 14 Mar 2023 12:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-03-15 15:21:48.467065
• Title: Implant Global and Local Hierarchy Information to Sequence based Code Representation Models
• Title（参考訳）: シーケンスベースコード表現モデルへのグローバルおよびローカル階層情報の埋め込み
• Authors: Kechi Zhang, Zhuo Li, Zhi Jin, Ge Li
• Abstract要約: 完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。 ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
• 参考スコア（独自算出の注目度）: 25.776540440893257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Source code representation with deep learning techniques is an important research field. There have been many studies that learn sequential or structural information for code representation. But sequence-based models and non-sequence-models both have their limitations. Researchers attempt to incorporate structural information to sequence-based models, but they only mine part of token-level hierarchical structure information. In this paper, we analyze how the complete hierarchical structure influences the tokens in code sequences and abstract this influence as a property of code tokens called hierarchical embedding. The hierarchical embedding is further divided into statement-level global hierarchy and token-level local hierarchy. Furthermore, we propose the Hierarchy Transformer (HiT), a simple but effective sequence model to incorporate the complete hierarchical embeddings of source code into a Transformer model. We demonstrate the effectiveness of hierarchical embedding on learning code structure with an experiment on variable scope detection task. Further evaluation shows that HiT outperforms SOTA baseline models and show stable training efficiency on three source code-related tasks involving classification and generation tasks across 8 different datasets.
• Abstract（参考訳）: ディープラーニング技術を用いたソースコード表現は重要な研究分野である。 コード表現のための逐次的または構造的な情報を学ぶ多くの研究がある。 しかし、シーケンスベースモデルと非シーケンスモデルの両方に制限がある。 研究者たちは、シーケンスベースのモデルに構造情報を組み込もうとするが、トークンレベルの階層構造情報の一部だけをマイニングする。 本稿では,完全な階層構造がコードシーケンスのトークンに与える影響を分析し,その影響を階層埋め込みと呼ばれるコードトークンの特性として抽象化する。 階層埋め込みはさらにステートメントレベルのグローバル階層とトークンレベルのローカル階層に分けられる。 さらに、ソースコードの完全な階層的埋め込みをトランスフォーマーモデルに組み込むための、単純だが効果的なシーケンスモデルである階層変換器(HiT)を提案する。 可変スコープ検出タスクの実験により,学習コード構造における階層埋め込みの有効性を実証する。 さらなる評価により、HiTはSOTAベースラインモデルより優れ、8つのデータセットにわたる分類および生成タスクを含む3つのソースコード関連タスクに対して安定したトレーニング効率を示す。

関連論文リスト

• Learning and Evaluating Hierarchical Feature Representations [3.770103075126785]
  我々は、直交部分空間の階層的構成(Hier-COS)という新しい枠組みを提案する。 Hier-COSは、与えられた分類木の構造と整合した設計により、深い特徴埋め込みをベクトル空間にマッピングすることを学ぶ。 Hier-COSはすべてのデータセットにまたがって最先端の階層的パフォーマンスを実現し,同時に1つのケースを除いてトップ1の精度を上回ります。
  論文  参考訳（メタデータ） (2025-03-10T20:59:41Z)
• EpiCoder: Encompassing Diversity and Complexity in Code Generation [49.170195362149386]
  抽象構文木(AST)にヒントを得た新しい特徴木ベース合成フレームワークを提案する。 コードの構文構造をキャプチャするASTとは異なり、私たちのフレームワークはコード要素間のセマンティックな関係をモデル化します。 広く使われているベースモデルを微調整してEpiCoderシリーズを作成し、関数レベルとファイルレベルの両方で最先端のパフォーマンスを実現しました。
  論文  参考訳（メタデータ） (2025-01-08T18:58:15Z)
• From Logits to Hierarchies: Hierarchical Clustering made Simple [16.132657141993548]
  事前訓練された非階層クラスタリングモデル上に実装された軽量なプロシージャは、階層クラスタリングに特化して設計されたモデルより優れていることを示す。 提案手法は,微調整を必要とせず,ログを出力する事前学習クラスタリングモデルに適用可能である。
  論文  参考訳（メタデータ） (2024-10-10T12:27:45Z)
• How transformers learn structured data: insights from hierarchical filtering [2.7784685368355744]
  本稿では,木上の配列の生成モデルに対する階層的フィルタリング手法を提案する。 我々は,バニラエンコーダのみのトランスフォーマーアーキテクチャが最適なBelief伝搬アルゴリズムを実装できることを示す。 フィルタの度合いの異なるモデルのアテンションマップに注目することで,トランスフォーマー層がどのように成功するかを分析する。
  論文  参考訳（メタデータ） (2024-08-27T15:23:09Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Generating Hierarchical Structures for Improved Time Series Classification Using Stochastic Splitting Functions [0.0]
  本研究では,階層分類(HC)による多クラスデータセットの分類性能を高めるために,分割関数(SSF)を用いた新しい階層分割クラスタリング手法を提案する。 この方法は、明示的な情報を必要とせずに階層を生成するユニークな能力を持ち、階層の事前の知識を欠いたデータセットに適している。
  論文  参考訳（メタデータ） (2023-09-21T10:34:50Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework [75.79736930414715]
  本稿では,すべての利用可能なラベルを活用でき,クラス間の階層的関係を維持できる階層型多言語表現学習フレームワークを提案する。 比較損失に階層的ペナルティを併用し,その階層的制約を強制する。
  論文  参考訳（メタデータ） (2022-04-27T21:41:44Z)
• HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information [0.6443952406204634]
  本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。 3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
  論文  参考訳（メタデータ） (2022-03-17T21:49:26Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。