論文の概要: Code Copycat Conundrum: Demystifying Repetition in LLM-based Code Generation
- arxiv url: http://arxiv.org/abs/2504.12608v1
- Date: Thu, 17 Apr 2025 03:13:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-25 23:07:55.541705
- Title: Code Copycat Conundrum: Demystifying Repetition in LLM-based Code Generation
- Title（参考訳）: Code Copycat Conundrum: LLMベースのコード生成における繰り返しのデミス
- Authors: Mingwei Liu, Juntao Li, Ying Wang, Xueying Du, Zuoyu Ou, Qiuyuan Chen, Bingxu An, Zhao Wei, Yong Xu, Fangming Zou, Xin Peng, Yiling Lou,
- Abstract要約: 本研究は,19の既成符号LPMにおける繰り返しの有病率と性質を調査するための最初の実証的研究である。
生成したコードの繰り返しを検知・緩和するルールベースの手法であるDeRepを提案する。
- 参考スコア（独自算出の注目度）: 22.100878392437508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent advances in Large Language Models (LLMs) for code generation, the quality of LLM-generated code still faces significant challenges. One significant issue is code repetition, which refers to the model's tendency to generate structurally redundant code, resulting in inefficiencies and reduced readability. To address this, we conduct the first empirical study to investigate the prevalence and nature of repetition across 19 state-of-the-art code LLMs using three widely-used benchmarks. Our study includes both quantitative and qualitative analyses, revealing that repetition is pervasive and manifests at various granularities and extents, including character, statement, and block levels. We further summarize a taxonomy of 20 repetition patterns. Building on our findings, we propose DeRep, a rule-based technique designed to detect and mitigate repetition in generated code. We evaluate DeRep using both open-source benchmarks and in an industrial setting. Our results demonstrate that DeRep significantly outperforms baselines in reducing repetition (with an average improvements of 91.3%, 93.5%, and 79.9% in rep-3, rep-line, and sim-line metrics) and enhancing code quality (with a Pass@1 increase of 208.3% over greedy search). Furthermore, integrating DeRep improves the performance of existing repetition mitigation methods, with Pass@1 improvements ranging from 53.7% to 215.7%.
- Abstract（参考訳）: コード生成におけるLLM(Large Language Models)の最近の進歩にもかかわらず、LLM生成コードの品質は依然として大きな課題に直面している。
重要な問題のひとつは、構造的に冗長なコードを生成する傾向を示すコード繰り返しであり、結果として非効率性と可読性が低下する。
これを解決するために、我々は3つの広く使用されているベンチマークを用いて、19の最先端コード LLM における繰り返しの頻度と性質を調査するための最初の実証的研究を行った。
我々の研究は定量分析と質的分析の両方を含んでおり、反復が広範に広まり、文字、文、ブロックレベルなど、様々な粒度や範囲で現れることを明らかにしている。
さらに、20の反復パターンの分類を要約する。
提案するDeRepは,生成したコードの繰り返しを検出・緩和するルールベースの手法である。
オープンソースベンチマークと産業環境でDeRepを評価する。
以上の結果から,DeRepは繰り返しの削減(rep-3,rep-line,sim-lineの平均改善率91.3%,93.5%,79.9%)と,コード品質の向上(Pass@1では208.3%,greedy Searchでは208.3%)において,ベースラインを著しく上回る結果となった。
さらに、DeRepを統合することで、53.7%から215.7%までのPass@1の改善により、既存の繰り返し緩和メソッドのパフォーマンスが向上する。
関連論文リスト
- Understanding the Repeat Curse in Large Language Models from a Feature Perspective [10.413608338398785]
大規模言語モデル(LLM)は、しばしば反復的なテキスト生成に悩まされる。
本稿では,Repeat Curse を誘導・解析するための新しい手法 "Duplicatus Charm" を提案する。
論文 参考訳（メタデータ） (2025-04-19T07:53:37Z) - MANTRA: Enhancing Automated Method-Level Refactoring with Contextual RAG and Multi-Agent LLM Collaboration [44.75848695076576]
本稿では,包括的Large Language ModelsエージェントベースのフレームワークであるMANTRAを紹介する。
ManTRAは、コンテキスト対応検索強化生成、協調型マルチエージェントコラボレーション、および言語強化学習を統合している。
MANTRA はベースライン LLM モデルを大幅に上回ることを示す実験結果が得られた。
論文 参考訳（メタデータ） (2025-03-18T15:16:51Z) - Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。
我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。
私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文 参考訳（メタデータ） (2024-11-19T16:54:45Z) - An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。
我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。
我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
論文 参考訳（メタデータ） (2024-11-08T12:08:17Z) - Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。
本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
論文 参考訳（メタデータ） (2024-10-23T07:22:33Z) - MAgICoRe: Multi-Agent, Iterative, Coarse-to-Fine Refinement for Reasoning [60.55556283848063]
大規模言語モデル(LLM)推論は、テストタイムアグリゲーション戦略、すなわち、複数のサンプルを生成し、生成されたサンプル間で投票することで改善することができる。
Refinementは、LLM生成したフィードバックを使ってソリューションの品質を改善する方法を提供する。
本稿では,問題の難易度を,難易度や難易度に分類することで,過度な改善を回避するMagICoReを提案する。
論文 参考訳（メタデータ） (2024-09-18T17:12:41Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳（メタデータ） (2024-07-11T06:50:19Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Rewriting the Code: A Simple Method for Large Language Model Augmented Code Search [7.822427053078387]
Generation-Augmented Retrieval (GAR)フレームワークは、クエリを拡張するための例のコードスニペットを生成する。
本稿では、forスタイルの正規化内でコード(ReCo)を書き換える、シンプルで効果的な方法を提案する。
コードスタイル類似度(Code Style similarity)は、コード内のスタイリスティック類似度を定量化するための最初のメートル法である。
論文 参考訳（メタデータ） (2024-01-09T12:12:50Z) - Sequencing Matters: A Generate-Retrieve-Generate Model for Building
Conversational Agents [9.191944519634111]
Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。
提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。
我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
論文 参考訳（メタデータ） (2023-11-16T02:37:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。