論文の概要: Robustness, Security, Privacy, Explainability, Efficiency, and Usability
of Large Language Models for Code
- arxiv url: http://arxiv.org/abs/2403.07506v1
- Date: Tue, 12 Mar 2024 10:43:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:03:48.819252
- Title: Robustness, Security, Privacy, Explainability, Efficiency, and Usability
of Large Language Models for Code
- Title（参考訳）: コードの大規模言語モデルの堅牢性、セキュリティ、プライバシ、説明可能性、効率性、ユーザビリティ
- Authors: Zhou Yang, Zhensu Sun, Terry Zhuo Yue, Premkumar Devanbu, David Lo
- Abstract要約: コードのための大規模言語モデル(LLM4Code)は、ソースコードの処理において強力なパフォーマンス(例えば高い精度)を示す。
本稿では,セキュリティ,プライバシ,説明可能性,効率,堅牢性など,正確性を超えた7つの重要な特性を特定するための146の関連研究を網羅的に検討する。
本稿では,現在の最先端の手法と動向について論じ,既存の研究のギャップを特定し,今後の研究に向けて有望な方向性を示す。
- 参考スコア（独自算出の注目度）: 9.343299833972253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models for code (LLM4Code), which demonstrate strong
performance (e.g., high accuracy) in processing source code, have significantly
transformed software engineering. Many studies separately investigate the
non-functional properties of LM4Code, but there is no systematic review of how
these properties are evaluated and enhanced. This paper fills this gap by
thoroughly examining 146 relevant studies, thereby presenting the first
systematic literature review to identify seven important properties beyond
accuracy, including robustness, security, privacy, explainability, efficiency,
and usability. We discuss the current state-of-the-art methods and trends,
identify gaps in existing research, and present promising directions for future
study.
- Abstract（参考訳）: コードのための大規模言語モデル(LLM4Code)は、ソースコードの処理性能(例えば高い精度)を示すもので、ソフトウェア工学を大きく変えた。
多くの研究はLM4Codeの非機能特性を別々に研究しているが、これらの特性がどのように評価され、拡張されるかについては体系的なレビューはない。
本稿は,146件の関連研究を精査し,ロバスト性,セキュリティ,プライバシ,説明可能性,効率性,ユーザビリティなど,正確性を超えた7つの重要な特性を特定するための体系的文献レビューを行った。
現状と動向を議論し,既存の研究のギャップを特定し,今後の研究に向けて有望な方向性を示す。
関連論文リスト
- Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。
この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-01-28T15:41:54Z) - Language Models for Code Optimization: Survey, Challenges and Future Directions [7.928856221466083]
ディープニューラルネットワーク(DNN)上に構築された言語モデル(LM)は、先日、ソフトウェアエンジニアリングタスクにおいて、画期的な効果を実証した。
本研究は、この急速に発展する分野において、研究者と実践者の両方に実行可能な洞察と参照を提供することを目的としている。
論文 参考訳（メタデータ） (2025-01-02T14:20:36Z) - The Good, the Bad, and the (Un)Usable: A Rapid Literature Review on Privacy as Code [4.479352653343731]
プライバシーとセキュリティは、音声データ保護とサイバーレジリエンス機能を備えた情報システムの設計の中心である。
開発者は、適切なサイバーセキュリティトレーニングを欠いているか、優先事項とは考えていないため、これらのプロパティをソフトウェアプロジェクトに組み込むのに苦労することが多い。
論文 参考訳（メタデータ） (2024-12-21T15:30:17Z) - Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。
このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。
データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
論文 参考訳（メタデータ） (2024-02-27T16:15:03Z) - Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey [21.01561950216472]
現代の言語モデル(LM)はソースコードの生成と理解に成功している。
その大きな可能性にもかかわらず、コードインテリジェンスのための言語モデル(LM4Code)は潜在的な落とし穴の影響を受けやすい。
論文 参考訳（メタデータ） (2023-10-27T05:32:57Z) - On the Reliability and Explainability of Language Models for Program
Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。
私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。
解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文 参考訳（メタデータ） (2023-02-19T14:59:52Z) - Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods [48.47413103662829]
自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
論文 参考訳（メタデータ） (2022-03-10T08:28:32Z) - Robust Natural Language Processing: Recent Advances, Challenges, and
Future Directions [4.409836695738517]
文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。
次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
論文 参考訳（メタデータ） (2022-01-03T17:17:11Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。