論文の概要: Robustness, Security, Privacy, Explainability, Efficiency, and Usability
of Large Language Models for Code
- arxiv url: http://arxiv.org/abs/2403.07506v1
- Date: Tue, 12 Mar 2024 10:43:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:03:48.819252
- Title: Robustness, Security, Privacy, Explainability, Efficiency, and Usability
of Large Language Models for Code
- Title（参考訳）: コードの大規模言語モデルの堅牢性、セキュリティ、プライバシ、説明可能性、効率性、ユーザビリティ
- Authors: Zhou Yang, Zhensu Sun, Terry Zhuo Yue, Premkumar Devanbu, David Lo
- Abstract要約: コードのための大規模言語モデル(LLM4Code)は、ソースコードの処理において強力なパフォーマンス(例えば高い精度)を示す。
本稿では,セキュリティ,プライバシ,説明可能性,効率,堅牢性など,正確性を超えた7つの重要な特性を特定するための146の関連研究を網羅的に検討する。
本稿では,現在の最先端の手法と動向について論じ,既存の研究のギャップを特定し,今後の研究に向けて有望な方向性を示す。
- 参考スコア（独自算出の注目度）: 9.343299833972253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models for code (LLM4Code), which demonstrate strong
performance (e.g., high accuracy) in processing source code, have significantly
transformed software engineering. Many studies separately investigate the
non-functional properties of LM4Code, but there is no systematic review of how
these properties are evaluated and enhanced. This paper fills this gap by
thoroughly examining 146 relevant studies, thereby presenting the first
systematic literature review to identify seven important properties beyond
accuracy, including robustness, security, privacy, explainability, efficiency,
and usability. We discuss the current state-of-the-art methods and trends,
identify gaps in existing research, and present promising directions for future
study.
- Abstract（参考訳）: コードのための大規模言語モデル(LLM4Code)は、ソースコードの処理性能(例えば高い精度)を示すもので、ソフトウェア工学を大きく変えた。
多くの研究はLM4Codeの非機能特性を別々に研究しているが、これらの特性がどのように評価され、拡張されるかについては体系的なレビューはない。
本稿は,146件の関連研究を精査し,ロバスト性,セキュリティ,プライバシ,説明可能性,効率性,ユーザビリティなど,正確性を超えた7つの重要な特性を特定するための体系的文献レビューを行った。
現状と動向を議論し,既存の研究のギャップを特定し,今後の研究に向けて有望な方向性を示す。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Automated Code-centric Software Vulnerability Assessment: How Far Are We? An Empirical Study in C/C++ [0.716879432974126]
C/C++における関数レベルのSV評価のための機械学習(ML)モデルとディープラーニング(DL)モデルの性能を調査・比較するための最初の実証的研究を行った。
MLは,関数レベルのSV評価のための多クラスDLモデルと比較して,トレーニング時間を大幅に短縮して,マッチングや性能が向上していることを示す。
論文 参考訳（メタデータ） (2024-07-24T07:26:58Z) - Qualitative Data Analysis in Software Engineering: Techniques and Teaching Insights [10.222207222039048]
ソフトウェアリポジトリは、ソースコードコメント、コミットメッセージ、イシュー記述、ドキュメントなど、質的なアーティファクトの豊富なソースである。
この章では、さまざまな定性的データ分析技術を用いて、これらのアーティファクトの解釈に焦点を移す。
データ解釈における一貫性と精度を確保するため、コーディングガイドの戦略的設計とともに様々なコーディング手法について議論する。
論文 参考訳（メタデータ） (2024-06-12T13:56:55Z) - Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。
このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。
データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
論文 参考訳（メタデータ） (2024-02-27T16:15:03Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳（メタデータ） (2023-12-01T16:00:25Z) - Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey [21.01561950216472]
現代の言語モデル(LM)はソースコードの生成と理解に成功している。
その大きな可能性にもかかわらず、コードインテリジェンスのための言語モデル(LM4Code)は潜在的な落とし穴の影響を受けやすい。
論文 参考訳（メタデータ） (2023-10-27T05:32:57Z) - On the Reliability and Explainability of Language Models for Program
Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。
私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。
解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文 参考訳（メタデータ） (2023-02-19T14:59:52Z) - Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods [48.47413103662829]
自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
論文 参考訳（メタデータ） (2022-03-10T08:28:32Z) - Robust Natural Language Processing: Recent Advances, Challenges, and
Future Directions [4.409836695738517]
文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。
次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
論文 参考訳（メタデータ） (2022-01-03T17:17:11Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。