論文の概要: Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey
- arxiv url: http://arxiv.org/abs/2310.17903v1
- Date: Fri, 27 Oct 2023 05:32:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 14:44:50.869983
- Title: Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey
- Title(参考訳): コードインテリジェンスのための言語モデルの落とし穴:分類と調査
- Authors: Xinyu She, Yue Liu, Yanjie Zhao, Yiling He, Li Li, Chakkrit
Tantithamthavorn, Zhan Qin, Haoyu Wang
- Abstract要約: 現代の言語モデル(LM)はソースコードの生成と理解に成功している。
その大きな可能性にもかかわらず、コードインテリジェンスのための言語モデル(LM4Code)は潜在的な落とし穴の影響を受けやすい。
- 参考スコア(独自算出の注目度): 21.01561950216472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern language models (LMs) have been successfully employed in source code
generation and understanding, leading to a significant increase in research
focused on learning-based code intelligence, such as automated bug repair, and
test case generation. Despite their great potential, language models for code
intelligence (LM4Code) are susceptible to potential pitfalls, which hinder
realistic performance and further impact their reliability and applicability in
real-world deployment. Such challenges drive the need for a comprehensive
understanding - not just identifying these issues but delving into their
possible implications and existing solutions to build more reliable language
models tailored to code intelligence. Based on a well-defined systematic
research approach, we conducted an extensive literature review to uncover the
pitfalls inherent in LM4Code. Finally, 67 primary studies from top-tier venues
have been identified. After carefully examining these studies, we designed a
taxonomy of pitfalls in LM4Code research and conducted a systematic study to
summarize the issues, implications, current solutions, and challenges of
different pitfalls for LM4Code systems. We developed a comprehensive
classification scheme that dissects pitfalls across four crucial aspects: data
collection and labeling, system design and learning, performance evaluation,
and deployment and maintenance. Through this study, we aim to provide a roadmap
for researchers and practitioners, facilitating their understanding and
utilization of LM4Code in reliable and trustworthy ways.
- Abstract(参考訳): 現代の言語モデル(LM)はソースコード生成と理解に成功しており、自動バグ修正やテストケース生成といった学習ベースのコードインテリジェンスに焦点を当てた研究が大幅に増加した。
その大きな可能性にもかかわらず、コードインテリジェンスのための言語モデル(LM4Code)は潜在的な落とし穴の影響を受け、現実的なパフォーマンスを妨げ、実際のデプロイメントにおける信頼性と適用性にさらに影響を及ぼす。
このような課題は、これらの問題を識別するだけでなく、コードインテリジェンスに合わせたより信頼性の高い言語モデルを構築するための、その可能性と既存のソリューションを掘り下げる、包括的な理解の必要性を喚起します。
十分に定義された体系的な研究アプローチに基づいて,lm4codeに固有の落とし穴を明らかにするために,広範な文献レビューを行った。
最後に、トップレベルの会場から67の初等的な研究が特定されている。
これらの研究を精査し、LM4Code研究における落とし穴の分類を設計し、問題、含意、現在の解決策、LM4Codeシステムの異なる落とし穴の課題を要約する体系的研究を行った。
データ収集とラベル付け,システム設計と学習,パフォーマンス評価,デプロイメントとメンテナンスという4つの重要な側面にまたがる落とし穴を分類する包括的分類手法を開発した。
本研究は,LM4Codeの信頼性と信頼性の両面での理解と活用を促進することを目的としている。
関連論文リスト
- Robustness, Security, Privacy, Explainability, Efficiency, and Usability
of Large Language Models for Code [9.343299833972253]
コードのための大規模言語モデル(LLM4Code)は、ソースコードの処理において強力なパフォーマンス(例えば高い精度)を示す。
本稿では,セキュリティ,プライバシ,説明可能性,効率,堅牢性など,正確性を超えた7つの重要な特性を特定するための146の関連研究を網羅的に検討する。
本稿では,現在の最先端の手法と動向について論じ,既存の研究のギャップを特定し,今後の研究に向けて有望な方向性を示す。
論文 参考訳(メタデータ) (2024-03-12T10:43:26Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - LLM4TDD: Best Practices for Test Driven Development Using Large Language
Models [0.76146285961466]
本稿では,LLM4TDDの概念を考察し,テスト駆動開発手法を用いて大規模言語モデルを用いてコードを反復的に生成する手法を提案する。
本稿では,ChatGPTとLeetCodeのコーディング問題を用いて実験的な評価を行い,LLM4TDDの有効性に対するテスト,プロンプト,問題属性の影響について検討する。
論文 参考訳(メタデータ) (2023-12-07T20:37:54Z) - Testing LLMs on Code Generation with Varying Levels of Prompt
Specificity [0.0]
大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。
自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
論文 参考訳(メタデータ) (2023-11-10T23:41:41Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - A Survey on Automated Software Vulnerability Detection Using Machine
Learning and Deep Learning [19.163031235081565]
近年、ソースコードの脆弱性を検出する機械学習(ML)とディープラーニング(DL)ベースのモデルが提示されている。
既存の研究のギャップを見つけることは困難であり、総合的な調査をせずに将来の改善の可能性を見出すのは難しいかもしれない。
この作業は、ML/DLベースのソースコードレベルソフトウェア脆弱性検出アプローチの様々な特徴を特徴付けるための体系的な調査を提示することで、そのギャップに対処する。
論文 参考訳(メタデータ) (2023-06-20T16:51:59Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - On the Reliability and Explainability of Language Models for Program
Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。
私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。
解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文 参考訳(メタデータ) (2023-02-19T14:59:52Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。