論文の概要: Contextualized Code Pretraining for Code Generation
- arxiv url: http://arxiv.org/abs/2605.17957v1
- Date: Mon, 18 May 2026 07:12:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.941956
- Title: Contextualized Code Pretraining for Code Generation
- Title（参考訳）: コード生成のための文脈付きコード事前学習
- Authors: Chen Liu, Qingyuan Liang, Hanwen Zhang, Zeyu Sun, Yakun Zhang, Lu Zhang,
- Abstract要約: 我々は、呼び出しコンテキストをコードモデルのトレーニングと評価の両方に統合する、呼び出し対応フレームワークであるコード事前トレーニングを提案する。
CallerGenは、複数のサイズにまたがる呼び出し認識の目的で事前訓練された最初のコードモデルで、現実的なシナリオを特徴とする新しいベンチマークであるCallerEvalでそれらを評価します。
- 参考スコア（独自算出の注目度）: 9.886764308766926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As code generation becomes increasingly central to improving software development efficiency, modern code models are largely trained and evaluated on code with natural-language descriptions. In real projects, developers often implement missing functions under limited project-specific artifacts, while the local call-site context is already available in the surrounding code. This usage context provides actionable cues about expected behavior, but existing models are not explicitly optimized to leverage it reliably, leading to implementations that may not integrate smoothly with surrounding usage in repository settings. In this work, we propose contextualized code pretraining, an invocation-aware framework that integrates calling context into both the training and evaluation of code models. Using static analysis, we automatically extract large-scale caller-callee pairs from real repositories to construct pretraining tasks and benchmarks that condition generation on the calling context. We train CallerGen, the first code models pretrained with invocation-aware objectives spanning multiple sizes, and evaluate them on CallerEval, a new benchmark featuring realistic scenarios. Experiments show that CallerGen outperforms comparable-scale models and remains competitive with larger ones across two benchmarks. Our 220M and 0.5B models achieve 16.58% and 22.81@% pass1, surpassing baselines on CallerEval. These results highlight the importance of calling context in realistic code generation.
- Abstract（参考訳）: コード生成がソフトウェア開発の効率改善の中心となるにつれ、現代のコードモデルは、自然言語で記述されたコードに基づいて、主に訓練され、評価されている。
実際のプロジェクトでは、開発者は限られたプロジェクト固有のアーティファクトの下で欠落した関数を実装することが多い。
この使用状況は、期待される振る舞いに関する実行可能な手がかりを提供するが、既存のモデルは、それを確実に活用するために明示的に最適化されていない。
そこで本稿では,コールコンテキストをコードモデルのトレーニングと評価の両方に組み込む,コールアウェアフレームワークである,文脈適応型コード事前トレーニングを提案する。
静的解析を用いて,実際のレポジトリから大規模コールとキャリーのペアを自動的に抽出し,コールコンテキスト上で条件生成を行う事前学習タスクとベンチマークを構築する。
CallerGenは、複数のサイズにまたがる呼び出し認識の目的で事前訓練された最初のコードモデルで、現実的なシナリオを特徴とする新しいベンチマークであるCallerEvalでそれらを評価します。
実験によると、CallerGenは同等のスケールのモデルより優れており、2つのベンチマークでより大きなモデルと競合している。
我々の220Mと0.5Bモデルは16.58%と22.81@%パス1を獲得し、CallerEvalのベースラインを超えた。
これらの結果は、現実的なコード生成におけるコンテキスト呼び出しの重要性を強調している。
関連論文リスト
- Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z) - RepoMasterEval: Evaluating Code Completion via Real-World Repositories [14.744942194298673]
RepoMasterEvalは、現実世界のリポジトリから構築されたコード補完モデルを評価するための新しいベンチマークである。
各ベンチマークは、1つのソースコードファイルから既存のテストスイートでコードスニペットをマスキングすることで生成される。
論文 参考訳（メタデータ） (2024-08-07T03:06:57Z) - On the Impacts of Contexts on Repository-Level Code Generation [5.641402231731082]
本稿ではレポジトリレベルのコード生成を評価するために設計された新しいベンチマークであるRepoExecを紹介する。
実行可能性、包括的なテストケース生成による機能的正当性、ファイル間のコンテキストの正確な利用という3つの重要な側面に注目します。
論文 参考訳（メタデータ） (2024-06-17T10:45:22Z) - CoderEval: A Benchmark of Pragmatic Code Generation with Generative
Pre-trained Models [20.169432642273524]
230のPythonと230のJavaコード生成タスクからなるCoderEvalというベンチマークを提案する。
CoderEval上で3つのコード生成モデルを評価することにより、スタンドアロン関数の生成におけるこれらのモデルの有効性が非スタンドアロン関数の生成よりも著しく高いことが分かる。
論文 参考訳（メタデータ） (2023-02-01T07:39:28Z) - InCoder: A Generative Model for Code Infilling and Synthesis [88.46061996766348]
InCoderは、プログラム合成(左から右への生成)と編集(埋め込み)が可能な統合生成モデルである。
InCoderは、許可されたコードの大きなコーパスからコードファイルを生成するように訓練されている。
私たちのモデルは、ゼロショットコードの埋め込みを直接実行できる最初の生成モデルです。
論文 参考訳（メタデータ） (2022-04-12T16:25:26Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z) - CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。
ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。
バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
論文 参考訳（メタデータ） (2022-01-26T10:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。