論文の概要: A Closer Look into Transformer-Based Code Intelligence Through Code Transformation: Challenges and Opportunities

• arxiv url: http://arxiv.org/abs/2207.04285v2
• Date: Sun, 08 Jun 2025 06:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:46.713755
• Title: A Closer Look into Transformer-Based Code Intelligence Through Code Transformation: Challenges and Opportunities
• Title（参考訳）: コード変換によるトランスフォーマーベースのコードインテリジェンス:課題と機会
• Authors: Yaoxian Li, Shiyi Qi, Cuiyun Gao, Yun Peng, David Lo, Zenglin Xu, Michael R. Lyu,
• Abstract要約: トランスフォーマーベースのモデルは、多くのインテリジェントコーディングタスクにおいて最先端のパフォーマンスを示している。 意味保存型コード変換がTransformerの性能に与える影響を実証研究する。
• 参考スコア（独自算出の注目度）: 54.039855851891815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have demonstrated state-of-the-art performance in many intelligent coding tasks such as code comment generation and code completion. Previous studies show that deep learning models are sensitive to the input variations, but few studies have systematically studied the robustness of Transformer under perturbed input code. In this work, we empirically study the effect of semantic-preserving code transformation on the performance of Transformer. Specifically, 24 and 27 code transformation strategies are implemented for two popular programming languages, Java and Python, respectively. For facilitating analysis, the strategies are grouped into five categories: block transformation, insertion/deletion transformation, grammatical statement transformation, grammatical token transformation, and identifier transformation. Experiments on three popular code intelligence tasks, including code completion, code summarization and code search, demonstrate insertion/deletion transformation and identifier transformation show the greatest impact on the performance of Transformer. Our results also suggest that Transformer based on abstract syntax trees (ASTs) shows more robust performance than the model based on only code sequence under most code transformations. Besides, the design of positional encoding can impact the robustness of Transformer under code transformation. Based on our findings, we distill some insights about the challenges and opportunities for Transformer-based code intelligence.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、コードコメント生成やコード補完といった多くのインテリジェントコーディングタスクにおいて、最先端のパフォーマンスを示している。 従来の研究では、深層学習モデルは入力のバリエーションに敏感であることが示されたが、摂動入力符号下でのトランスフォーマーの堅牢性について体系的に研究した研究はほとんどない。 本研究では,意味保存型コード変換がTransformerの性能に与える影響を実証研究する。 具体的には、JavaとPythonの2つの人気のあるプログラミング言語に対して、24と27のコード変換戦略が実装されている。 分析を容易にするため、戦略はブロック変換、挿入/削除変換、文法文変換、文法トークン変換、識別子変換の5つのカテゴリに分類される。 コード補完、コード要約、コード検索を含む3つの一般的なコードインテリジェンスタスクの実験では、挿入/削除変換と識別子変換がTransformerのパフォーマンスに最も大きな影響を与えている。 また,抽象構文木(AST)に基づくトランスフォーマーは,ほとんどのコード変換において,コードシーケンスのみに基づくモデルよりも堅牢な性能を示すことが示唆された。 さらに、位置符号化の設計は、コード変換時のトランスフォーマーの堅牢性に影響を与える可能性がある。 この結果から,Transformerベースのコードインテリジェンスにおける課題と機会について,いくつかの知見を抽出した。

関連論文リスト

• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Empirical Study of Transformers for Source Code [14.904366372190943]
  本研究では,トランスフォーマーが様々なタスクで構文情報を利用する能力について検討する。 我々は,トランスフォーマーが純粋に構文情報に基づいて意味のある予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-10-15T19:09:15Z)
• Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback [6.230751621285322]
  我々は、明示的なコード生成のためのモダントランスフォーマーアーキテクチャを導入し、研究する。 我々は、擬似関連フィードバックを用いて外部知識を組み込んだRelevance Transformerと呼ばれる新しいモデルを提案する。 その結果,BLEU評価に基づく最先端手法の改善が示された。
  論文  参考訳（メタデータ） (2020-07-06T09:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。