論文の概要: STALL+: Boosting LLM-based Repository-level Code Completion with Static Analysis
- arxiv url: http://arxiv.org/abs/2406.10018v1
- Date: Fri, 14 Jun 2024 13:28:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 13:35:39.742097
- Title: STALL+: Boosting LLM-based Repository-level Code Completion with Static Analysis
- Title（参考訳）: STALL+:静的解析によるLCMベースのリポジトリレベルのコード補完
- Authors: Junwei Liu, Yixuan Chen, Mingwei Liu, Xin Peng, Yiling Lou,
- Abstract要約: この研究は、LLMベースのリポジトリレベルのコード補完における静的解析の統合に関する最初の研究を行う。
まず、拡張可能でカスタマイズ可能な複数の静的解析戦略の統合をサポートするフレームワークSTALL+を実装します。
その結果,ファイルレベルの依存関係をプロンプトフェーズに組み込むことが最善であるのに対して,後処理フェーズの統合はより悪くなっていることがわかった。
- 参考スコア（独自算出の注目度）: 8.059606338318538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Repository-level code completion is challenging as it involves complicated contexts from multiple files in the repository. To date, researchers have proposed two technical categories to enhance LLM-based repository-level code completion, i.e., retrieval-augmented generation (RAG) and static analysis integration. This work performs the first study on the static analysis integration in LLM-based repository-level code completion by investigating both the effectiveness and efficiency of static analysis integration strategies across different phases of code completion. We first implement a framework STALL+, which supports an extendable and customizable integration of multiple static analysis strategies into the complete pipeline of LLM-based repository-level code completion; and based on STALL+, we perform extensive experiments by including different code LLMs on the latest repository-level code completion benchmark CrossCodeEval. Our findings show that integrating file-level dependencies in prompting phase performs the best while the integration in post-processing phase performs the worse. Additionally, we observe different improvements from static analysis between dynamic languages and static languages, i.e., the best combination is prompting-phase with decoding-phase integration for Java while the best combination is prompting-phase with post-processing-phase integration for Python given the limitations of statically analyzing dynamic languages. Additionally, we find the complementarity between RAG and static analysis integration as well as their cost-effectiveness after combination.
- Abstract（参考訳）: リポジトリレベルのコード補完は、リポジトリ内の複数のファイルからの複雑なコンテキストを必要とするため、難しい。
これまで,LLMベースのリポジトリレベルのコード補完,すなわち検索拡張生成(RAG)と静的解析統合の2つの技術カテゴリが提案されてきた。
本研究は,LLMベースのリポジトリレベルのコード補完における静的解析統合に関する最初の研究を行い,コード補完の異なる段階における静的解析統合戦略の有効性と効率性について検討した。
まず,複数の静的解析戦略をLLMベースのリポジトリレベルのコード補完の完全なパイプラインに拡張可能かつカスタマイズ可能な統合をサポートするフレームワークSTALL+を実装し,STALL+をベースとして,最新のリポジトリレベルのコード補完ベンチマークであるCrossCodeEvalに異なるコードLLMを含めることで,広範な実験を行う。
その結果,ファイルレベルの依存関係をプロンプトフェーズに組み込むことが最善であるのに対して,後処理フェーズの統合はより悪くなっていることがわかった。
さらに、動的言語と静的言語間の静的解析、すなわち、動的言語を静的解析する制限があるため、最良の組み合わせはJavaのデコードフェーズ統合のプロンプトフェーズであり、最も良い組み合わせはPythonのプロセス後フェーズ統合のプロンプトフェーズである。
さらに、RAGと静的解析の統合の相補性や、組み合わせ後のコスト効果も見出す。
関連論文リスト
- DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - Class-Level Code Generation from Natural Language Using Iterative, Tool-Enhanced Reasoning over Repository [4.767858874370881]
実世界のリポジトリ内でクラスレベルのコードを生成する際に,LLMを厳格に評価するためのベンチマークであるRepoClassBenchを紹介する。
RepoClassBenchには、リポジトリの選択からJava、Python、C#にまたがる"Natural Language to Class Generation"タスクが含まれている。
Retrieve-Repotools-Reflect (RRR)は,レポジトリレベルのコンテキストを反復的にナビゲートし,推論する静的解析ツールを備えた新しいアプローチである。
論文 参考訳（メタデータ） (2024-04-22T03:52:54Z) - Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。
本稿では,不要な場合の検索を回避するため,選択的なRAGフレームワークを提案する。
我々のフレームワークは、異なる世代モデル、レトリバー、プログラミング言語に対応できることを示します。
論文 参考訳（メタデータ） (2024-03-15T06:59:43Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - Integrating Static Code Analysis Toolchains [0.8246494848934447]
最先端のツールチェーンは、テスト実行とビルド自動化、テスト、要件、設計情報間のトレーサビリティをサポートする。
当社のアプローチでは,これらの機能をすべて組み合わせて,静的コード解析を取り入れて,トレーサビリティをソースコードレベルにまで拡張しています。
論文 参考訳（メタデータ） (2024-03-09T18:59:50Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - Enhancing LLM-Based Coding Tools through Native Integration of
IDE-Derived Static Context [41.91246546266515]
我々は,統合開発環境(IDE)がリポジトリレベルのコード補完のために,直接的かつ正確かつリアルタイムなクロスファイル情報を提供できると主張している。
本稿では,IDEネイティブな静的コンテキストをクロスコンテキスト構築に利用し,自己再定義のための診断結果を生成するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-06T01:59:41Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - Comparative Code Structure Analysis using Deep Learning for Performance
Prediction [18.226950022938954]
本稿では,アプリケーションの静的情報(抽象構文木やASTなど)を用いてコード構造の変化に基づいて性能変化を予測することの実現可能性を評価することを目的とする。
組込み学習手法の評価により,木系長短メモリ(LSTM)モデルでは,ソースコードの階層構造を利用して遅延表現を発見し,最大84%(個人的問題)と73%(複数の問題を含む組み合わせデータセット)の精度で性能変化を予測できることが示された。
論文 参考訳（メタデータ） (2021-02-12T16:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。