論文の概要: Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey
- arxiv url: http://arxiv.org/abs/2310.17903v1
- Date: Fri, 27 Oct 2023 05:32:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 14:44:50.869983
- Title: Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey
- Title（参考訳）: コードインテリジェンスのための言語モデルの落とし穴:分類と調査
- Authors: Xinyu She, Yue Liu, Yanjie Zhao, Yiling He, Li Li, Chakkrit
Tantithamthavorn, Zhan Qin, Haoyu Wang
- Abstract要約: 現代の言語モデル(LM)はソースコードの生成と理解に成功している。
その大きな可能性にもかかわらず、コードインテリジェンスのための言語モデル(LM4Code)は潜在的な落とし穴の影響を受けやすい。
- 参考スコア（独自算出の注目度）: 21.01561950216472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern language models (LMs) have been successfully employed in source code
generation and understanding, leading to a significant increase in research
focused on learning-based code intelligence, such as automated bug repair, and
test case generation. Despite their great potential, language models for code
intelligence (LM4Code) are susceptible to potential pitfalls, which hinder
realistic performance and further impact their reliability and applicability in
real-world deployment. Such challenges drive the need for a comprehensive
understanding - not just identifying these issues but delving into their
possible implications and existing solutions to build more reliable language
models tailored to code intelligence. Based on a well-defined systematic
research approach, we conducted an extensive literature review to uncover the
pitfalls inherent in LM4Code. Finally, 67 primary studies from top-tier venues
have been identified. After carefully examining these studies, we designed a
taxonomy of pitfalls in LM4Code research and conducted a systematic study to
summarize the issues, implications, current solutions, and challenges of
different pitfalls for LM4Code systems. We developed a comprehensive
classification scheme that dissects pitfalls across four crucial aspects: data
collection and labeling, system design and learning, performance evaluation,
and deployment and maintenance. Through this study, we aim to provide a roadmap
for researchers and practitioners, facilitating their understanding and
utilization of LM4Code in reliable and trustworthy ways.
- Abstract（参考訳）: 現代の言語モデル(LM)はソースコード生成と理解に成功しており、自動バグ修正やテストケース生成といった学習ベースのコードインテリジェンスに焦点を当てた研究が大幅に増加した。
その大きな可能性にもかかわらず、コードインテリジェンスのための言語モデル(LM4Code)は潜在的な落とし穴の影響を受け、現実的なパフォーマンスを妨げ、実際のデプロイメントにおける信頼性と適用性にさらに影響を及ぼす。
このような課題は、これらの問題を識別するだけでなく、コードインテリジェンスに合わせたより信頼性の高い言語モデルを構築するための、その可能性と既存のソリューションを掘り下げる、包括的な理解の必要性を喚起します。
十分に定義された体系的な研究アプローチに基づいて,lm4codeに固有の落とし穴を明らかにするために,広範な文献レビューを行った。
最後に、トップレベルの会場から67の初等的な研究が特定されている。
これらの研究を精査し、LM4Code研究における落とし穴の分類を設計し、問題、含意、現在の解決策、LM4Codeシステムの異なる落とし穴の課題を要約する体系的研究を行った。
データ収集とラベル付け,システム設計と学習,パフォーマンス評価,デプロイメントとメンテナンスという4つの重要な側面にまたがる落とし穴を分類する包括的分類手法を開発した。
本研究は,LM4Codeの信頼性と信頼性の両面での理解と活用を促進することを目的としている。
関連論文リスト
- SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Large Language Models for Secure Code Assessment: A Multi-Language Empirical Study [1.9116784879310031]
GPT-4oは,数ショット設定を用いて,最も高い脆弱性検出とCWE分類のスコアを達成できることを示す。
我々は、VSCodeと統合されたCODEGUARDIANと呼ばれるライブラリを開発し、開発者はLLM支援リアルタイム脆弱性分析を行うことができる。
論文 参考訳（メタデータ） (2024-08-12T18:10:11Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳（メタデータ） (2024-07-01T07:05:44Z) - An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳（メタデータ） (2024-03-30T08:42:10Z) - Robustness, Security, Privacy, Explainability, Efficiency, and Usability
of Large Language Models for Code [9.343299833972253]
コードのための大規模言語モデル(LLM4Code)は、ソースコードの処理において強力なパフォーマンス(例えば高い精度)を示す。
本稿では,セキュリティ,プライバシ,説明可能性,効率,堅牢性など,正確性を超えた7つの重要な特性を特定するための146の関連研究を網羅的に検討する。
本稿では,現在の最先端の手法と動向について論じ,既存の研究のギャップを特定し,今後の研究に向けて有望な方向性を示す。
論文 参考訳（メタデータ） (2024-03-12T10:43:26Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - A Survey on Automated Software Vulnerability Detection Using Machine
Learning and Deep Learning [19.163031235081565]
近年、ソースコードの脆弱性を検出する機械学習(ML)とディープラーニング(DL)ベースのモデルが提示されている。
既存の研究のギャップを見つけることは困難であり、総合的な調査をせずに将来の改善の可能性を見出すのは難しいかもしれない。
この作業は、ML/DLベースのソースコードレベルソフトウェア脆弱性検出アプローチの様々な特徴を特徴付けるための体系的な調査を提示することで、そのギャップに対処する。
論文 参考訳（メタデータ） (2023-06-20T16:51:59Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。