論文の概要: Structure-Aware Corpus Construction and User-Perception-Aligned Metrics for Large-Language-Model Code Completion

• arxiv url: http://arxiv.org/abs/2505.13073v1
• Date: Mon, 19 May 2025 13:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.601645
• Title: Structure-Aware Corpus Construction and User-Perception-Aligned Metrics for Large-Language-Model Code Completion
• Title（参考訳）: 大規模言語モデルコード補完のための構造認識コーパスの構築とユーザ認識対応メトリクス
• Authors: Dengfeng Liu, Jucai Zhai, Xiaoguang Jiang, Ziqun Li, Qianjin Yu, Feng Liu, Rui Ye, Huang Liu, Zhiguo Yang, Yongsheng Du, Fang Tan,
• Abstract要約: 本稿では,コード補完タスクの2つの評価指標,-LCP と ROUGE-LCP を提案する。 また,構造保存および意味的順序付きコードグラフに基づくデータ処理手法を提案する。
• 参考スコア（独自算出の注目度）: 5.771285831097908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code completion technology based on large language model has significantly improved the development efficiency of programmers. However, in practical applications, there remains a gap between current commonly used code completion evaluation metrics and users' actual perception. To address this issue, we propose two evaluation metrics for code completion tasks--LCP and ROUGE-LCP, from the perspective of probabilistic modeling. Furthermore, to tackle the lack of effective structural semantic modeling and cross-module dependency information in LLMs for repository-level code completion scenarios, we propose a data processing method based on a Structure-Preserving and Semantically-Reordered Code Graph (SPSR-Graph). Through theoretical analysis and experimental validation, we demonstrate the superiority of the proposed evaluation metrics in terms of user perception consistency, as well as the effectiveness of the data processing method in enhancing model performance.
• Abstract（参考訳）: 大規模言語モデルに基づくコード補完技術は,プログラマの開発効率を大幅に向上させた。 しかし、実際のアプリケーションでは、現在の一般的なコード補完評価指標とユーザの実際の知覚との間にはギャップが残っている。 この問題に対処するために,確率的モデリングの観点から,コード補完タスクの2つの評価指標,-LCP と ROUGE-LCP を提案する。 さらに,レポジトリレベルのコード補完シナリオにおいて,LLMにおける効率的な構造的セマンティックモデリングやクロスモジュール依存情報の欠如に対処するため,構造化保存・セマンティック・コードグラフ(SPSR-Graph)に基づくデータ処理手法を提案する。 理論的解析と実験的な検証を通じて,ユーザ認識の整合性の観点から評価指標の優位性を示すとともに,モデル性能向上のためのデータ処理手法の有効性を示す。

関連論文リスト

• A Survey on Evaluating Large Language Models in Code Generation Tasks [30.256255254277914]
  本稿では,コード生成タスクにおけるLarge Language Models (LLMs) の性能評価に使用される現在の手法と指標について概説する。 自動ソフトウェア開発の需要が急速に増加し、LLMはコード生成の分野で大きな可能性を示してきた。
  論文  参考訳（メタデータ） (2024-08-29T12:56:06Z)
• Improving the Validity and Practical Usefulness of AI/ML Evaluations Using an Estimands Framework [2.4861619769660637]
  本稿では,国際臨床治験ガイドラインを応用した評価フレームワークを提案する。 このフレームワークは、評価の推測と報告のための体系的な構造を提供する。 我々は、このフレームワークが根底にある問題、その原因、潜在的な解決策を明らかにするのにどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T18:47:37Z)
• Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
  大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。 LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。 各種コードライブラリの推論性能の粗大な解析を行う。
  論文  参考訳（メタデータ） (2024-04-17T15:57:50Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。