論文の概要: Explainable AI for Pre-Trained Code Models: What Do They Learn? When They Do Not Work?

• arxiv url: http://arxiv.org/abs/2211.12821v2
• Date: Mon, 28 Aug 2023 19:42:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 14:07:23.322227
• Title: Explainable AI for Pre-Trained Code Models: What Do They Learn? When They Do Not Work?
• Title（参考訳）: 事前学習されたコードモデルのための説明可能なAI いつ機能しないのか?
• Authors: Ahmad Haji Mohammadkhani, Chakkrit Tantithamthavorn, Hadi Hemmati
• Abstract要約: 下流タスクの一連のソフトウェアエンジニアリング上のコードのための,最近の2つの大規模言語モデル (LLM) について検討する。 CodeBERTとGraphCodeBERTは、これらのタスクで何を学ぶか(ソースコードトークンタイプに関して、最も注意を払っている)を特定します。 モデルが期待通りに機能しない場合の一般的なパターンをいくつか示し、推奨する。
• 参考スコア（独自算出の注目度）: 4.573310303307945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, there has been a wide interest in designing deep neural network-based models that automate downstream software engineering tasks on source code, such as code document generation, code search, and program repair. Although the main objective of these studies is to improve the effectiveness of the downstream task, many studies only attempt to employ the next best neural network model, without a proper in-depth analysis of why a particular solution works or does not, on particular tasks or scenarios. In this paper, using an example eXplainable AI (XAI) method (attention mechanism), we study two recent large language models (LLMs) for code (CodeBERT and GraphCodeBERT) on a set of software engineering downstream tasks: code document generation (CDG), code refinement (CR), and code translation (CT). Through quantitative and qualitative studies, we identify what CodeBERT and GraphCodeBERT learn (put the highest attention on, in terms of source code token types), on these tasks. We also show some of the common patterns when the model does not work as expected (performs poorly even on easy problems) and suggest recommendations that may alleviate the observed challenges.
• Abstract（参考訳）: 近年、コード文書生成、コード検索、プログラム修復など、ソースコード上の下流ソフトウェアエンジニアリングタスクを自動化するディープニューラルネットワークベースのモデルの設計に、幅広い関心が寄せられている。 これらの研究の主な目的は下流のタスクの有効性を改善することであるが、多くの研究は、特定のソリューションがなぜ特定のタスクやシナリオで動作するのか、そうでないのかを適切に詳細に分析することなく、次の最良のニューラルネットワークモデルを採用することだけを試みる。 本稿では,eXplainable AI(XAI)手法(アテンション機構)の例を用いて,コード文書生成(CDG),コード修正(CR),コード翻訳(CT)という,一連のソフトウェア工学タスクにおいて,コード(CodeBERTおよびGraphCodeBERT)用の2つの最近の大規模言語モデル(LLM)について検討する。 定量的および定性的な研究を通じて、これらのタスクでCodeBERTとGraphCodeBERTが何を学習するか(ソースコードトークンの種類に関して最も注意を払う)を特定する。 また、モデルが期待通りに動作しない場合(簡単な問題でも不十分になる)に共通のパターンをいくつか示し、観察された課題を緩和する推奨事項を提案します。

関連論文リスト

• INSPECT: Intrinsic and Systematic Probing Evaluation for Code Transformers [7.255653248042546]
  我々は、ソースコードの表面、構文、構造、意味的特性を訓練する15の探索タスクを定義するためにフレームワークを使用します。 8つの事前訓練されたソースコードモデルと、ベースラインとして自然言語モデル(BERT)を探索する。 構造情報(GraphCodeBERTなど)を組み込んだモデルの方が,ソースコードの特徴をよりよく表現できることがわかった。
  論文  参考訳（メタデータ） (2023-12-08T15:21:54Z)
• TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs [71.7495056818522]
  私たちは、基礎モデルと数百万のAPIを結合してタスク補完を行う、新しいAIエコシステムとしてTaskMatrix.AIを紹介します。 このようなエコシステムを構築するためのビジョンを示し、それぞれの重要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。
  論文  参考訳（メタデータ） (2023-03-29T03:30:38Z)
• Greener yet Powerful: Taming Large Code Generation Models with Quantization [47.734976584580224]
  事前訓練された大規模なディープラーニングモデルは、コード生成の境界を大幅に押し下げた。 その大きな力にもかかわらず、膨大な数のモデルパラメータが、通常のソフトウェア開発環境でそれらを適用することに重大な脅威をもたらします。 モデル圧縮はこれらの課題に対処するための有望なアプローチである。
  論文  参考訳（メタデータ） (2023-03-09T16:25:51Z)
• Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets [0.0]
  この研究は、AI駆動のコードアシスタントを使用して、現代技術を形成する影響力のあるコンピュータコードの選択を分析する。 この研究の最初の貢献は、過去50年で最も重要なコードの進歩の半分を調査することであった。
  論文  参考訳（メタデータ） (2023-01-05T23:17:17Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• What do pre-trained code models know about code? [9.60966128833701]
  事前に訓練されたコードモデルを調べるために、プローブと呼ばれる診断タスクを使用します。 BERT(英語で事前学習)、CodeBERT(ソースコードで事前学習)、CodeBERTa(自然言語で事前学習)、GraphCodeBERT(データフローでソースコードで事前学習)について検討した。
  論文  参考訳（メタデータ） (2021-08-25T16:20:17Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees [17.461451218469062]
  本稿では,自己言語学習機構をソースコードモデルに適用することにより,制限を克服するinfercodeを提案する。 ASTのサブツリーは、人間のラベル付けや高価なグラフ構築のオーバーヘッドなしにコード表現をトレーニングするためのラベルとして、InferCodeで扱われる。 Code2Vec、Code2Seq、ASTNNなど、同じ下流タスクに適用される以前のコード学習技術と比較して、事前に訓練されたInferCodeモデルを使用して、より高いパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2020-12-13T10:33:41Z)
• Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras [0.0]
  機械学習プロジェクトに関わる作業の大部分は、与えられた問題を解決するのに最適なタイプのアルゴリズムを定義することである。 与えられた問題に対する最適なネットワークトポロジと設定を見つけることは、ドメインの知識とテストの努力を必要とする課題です。
  論文  参考訳（メタデータ） (2020-02-11T19:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。