論文の概要: Rethinking Repetition Problems of LLMs in Code Generation

• arxiv url: http://arxiv.org/abs/2505.10402v1
• Date: Thu, 15 May 2025 15:26:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.382037
• Title: Rethinking Repetition Problems of LLMs in Code Generation
• Title（参考訳）: コード生成におけるLLMの繰り返し問題の再考
• Authors: Yihong Dong, Yuchen Liu, Xue Jiang, Zhi Jin, Ge Li,
• Abstract要約: 本稿では,Grammarをベースとした反復ペナライゼーションであるRPGという,効率的な復号化手法を提案する。 RPGはまず文法ルールを活用して、コード生成中に繰り返しの問題を特定し、その後、繰り返しに寄与するクリティカルトークンの可能性を戦略的に崩壊させる。 大規模な実験結果によると、RPGはCodeRepetEvalデータセット上で最高のパフォーマンスのベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 36.42947561896802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advent of neural language models, the performance of code generation has been significantly boosted. However, the problem of repetitions during the generation process continues to linger. Previous work has primarily focused on content repetition, which is merely a fraction of the broader repetition problem in code generation. A more prevalent and challenging problem is structural repetition. In structural repetition, the repeated code appears in various patterns but possesses a fixed structure, which can be inherently reflected in grammar. In this paper, we formally define structural repetition and propose an efficient decoding approach called RPG, which stands for Repetition Penalization based on Grammar, to alleviate the repetition problems in code generation for LLMs. Specifically, RPG first leverages grammar rules to identify repetition problems during code generation, and then strategically decays the likelihood of critical tokens that contribute to repetitions, thereby mitigating them in code generation. To facilitate this study, we construct a new dataset CodeRepetEval to comprehensively evaluate approaches for mitigating the repetition problems in code generation. Extensive experimental results demonstrate that RPG substantially outperforms the best-performing baselines on CodeRepetEval dataset as well as HumanEval and MBPP benchmarks, effectively reducing repetitions and enhancing the quality of generated code.
• Abstract（参考訳）: ニューラルネットワークモデルの出現により、コード生成のパフォーマンスが大幅に向上した。 しかし、生成過程における繰り返しの問題は行き詰まり続けている。 それまでの作業は、主にコンテンツ反復に重点を置いてきたが、これはコード生成におけるより広範な反復問題のごく一部にすぎない。 より一般的で困難な問題は、構造的反復である。 構造的反復において、繰り返しのコードは様々なパターンに現れるが、文法に本質的に反映される固定された構造を持つ。 本稿では,構造的反復を正式に定義し,LLMのコード生成における繰り返し問題を軽減するために,文法に基づく反復罰を意味するRPGと呼ばれる効率的な復号法を提案する。 具体的には、RPGはまず文法ルールを活用して、コード生成中に繰り返しの問題を特定し、その後、繰り返しに寄与するクリティカルトークンの可能性を戦略的に崩壊させ、コード生成においてそれらを緩和する。 本研究では,コード生成における繰り返し問題を緩和するためのアプローチを包括的に評価するために,新しいデータセットであるCodeRepetEvalを構築した。 大規模な実験結果によると、RPGはCodeRepetEvalデータセットとHumanEvalおよびMBPPベンチマークのベースラインを著しく上回り、繰り返しを効果的に削減し、生成されたコードの品質を向上させる。

関連論文リスト

• Code Copycat Conundrum: Demystifying Repetition in LLM-based Code Generation [22.100878392437508]
  本研究は,19の既成符号LPMにおける繰り返しの有病率と性質を調査するための最初の実証的研究である。 生成したコードの繰り返しを検知・緩和するルールベースの手法であるDeRepを提案する。
  論文  参考訳（メタデータ） (2025-04-17T03:13:39Z)
• Memorize or Generalize? Evaluating LLM Code Generation with Evolved Questions [33.58518352911762]
  LLM(Large Language Models)は、コード生成において暗記現象を示すことが知られている。 本稿では, 突然変異, 言い換え, コード書き換えという3つの進化戦略を設計し, この現象を考察する。 予想通り、監督された微調整が進むにつれて、暗記のスコアは過度に適合する前に上昇し、より厳しい暗記の可能性が示唆される。
  論文  参考訳（メタデータ） (2025-03-04T05:39:24Z)
• RefineCoder: Iterative Improving of Large Language Models via Adaptive Critique Refinement for Code Generation [13.75248879205993]
  本稿では,自己生成コードと外部批判によってモデルを洗練できる適応的批評精細化(ACR)を提案する。 ACRは、コード応答の品質を評価するためのLCM-as-a-Judgeを備えた複合スコアシステムを含む。 我々は、ACRを反復的に適用し、複数のコード生成ベンチマークで連続的な性能改善を実現するRefineCoderシリーズを開発した。
  論文  参考訳（メタデータ） (2025-02-13T11:17:53Z)
• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Pattern-aware Data Augmentation for Query Rewriting in Voice Assistant Systems [10.332550622090718]
  既存のトレーニングペアからパターンを学習し、ラベルの書き換えから書き換え候補を逆に生成し、不十分なQRトレーニングデータを補う拡張フレームワークを提案する。 実験の結果,QRベースラインを十分に訓練し,低リソース領域やローカライズ領域でのQR性能向上に有効である可能性が示された。
  論文  参考訳（メタデータ） (2020-12-21T16:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。