論文の概要: UCoder: Unsupervised Code Generation by Internal Probing of Large Language Models

• arxiv url: http://arxiv.org/abs/2512.17385v1
• Date: Fri, 19 Dec 2025 09:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.328382
• Title: UCoder: Unsupervised Code Generation by Internal Probing of Large Language Models
• Title（参考訳）: UCoder: 大規模言語モデルの内部探索による教師なしコード生成
• Authors: Jiajun Wu, Jian Yang, Wei Zhang, Lin Jing, Yuqing Ma, Ensheng Shi, Yuchi Ma, Zhoujun Li, Xianglong Liu,
• Abstract要約: 外部コーパスのないコード生成のためのLLMの内部プローブ、ラベルなしのコードスニペット。 IPCは自己整合性機構と表現に基づく品質推定を通じて信頼性の高いコード候補を特定する。 提案手法を複数のコードベンチマークで検証する。
• 参考スコア（独自算出の注目度）: 41.227208230253744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in code generation tasks. However, their effectiveness heavily relies on supervised training with extensive labeled (e.g., question-answering pairs) or unlabeled datasets (e.g., code snippets), which are often expensive and difficult to obtain at scale. To address this limitation, this paper introduces a method IPC, an unsupervised framework that leverages Internal Probing of LLMs for Code generation without any external corpus, even unlabeled code snippets. We introduce the problem space probing, test understanding probing, solution space probing, and knowledge consolidation and reinforcement to probe the internal knowledge and confidence patterns existing in LLMs. Further, IPC identifies reliable code candidates through self-consistency mechanisms and representation-based quality estimation to train UCoder (coder with unsupervised learning). We validate the proposed approach across multiple code benchmarks, demonstrating that unsupervised methods can achieve competitive performance compared to supervised approaches while significantly reducing the dependency on labeled data and computational resources. Analytic experiments reveal that internal model states contain rich signals about code quality and correctness, and that properly harnessing these signals enables effective unsupervised learning for code generation tasks, opening new directions for training code LLMs in resource-constrained scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示した。 しかし、その効果は広範囲のラベル付き(例えば、質問回答ペア)やラベルなしデータセット(例えば、コードスニペット)による教師付きトレーニングに大きく依存している。 この制限に対処するために,コード生成のためのLLMの内部プロブリングを外部コーパスやラベルのないコードスニペットさえも使わずに利用する,教師なしのフレームワークであるIPCを提案する。 我々は,LLMの内部知識と信頼性パターンを探索するために,問題空間探索,テスト理解探索,解空間探索,知識統合と強化を導入する。 さらに、ICCは自己整合性機構と表現に基づく品質評価を通じて信頼性の高いコード候補を特定し、UCoder(教師なし学習付きコーダ)を訓練する。 提案手法を複数のコードベンチマークで検証し,教師なし手法が教師付き手法と比較して競争性能を向上できることを示すとともに,ラベル付きデータや計算資源への依存を著しく低減できることを示した。 分析実験により、内部モデル状態にはコード品質と正確性に関する豊富な信号が含まれており、これらの信号を適切に活用することで、コード生成タスクに対して効果的な教師なし学習が可能になり、リソース制約のあるシナリオでLLMをトレーニングするための新たな方向性が開かれることが明らかになった。

関連論文リスト

• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• CodeIF: Benchmarking the Instruction-Following Capabilities of Large Language Models for Code Generation [20.013757490442064]
  タスク指向の命令に準拠する大規模言語モデル(LLM)の能力を評価するために設計された最初のベンチマークであるCodeIFを紹介する。 CodeIFは関数合成、アルゴリズム命令、コード説明など幅広いタスクを含んでいる。 我々はLLMによる広範囲な実験を行い、これらの課題の要求を満たす上での強みと限界を分析した。
  論文  参考訳（メタデータ） (2025-02-26T14:19:49Z)
• Correctness Assessment of Code Generated by Large Language Models Using Internal Representations [4.32362000083889]
  大規模言語モデル(LLM)が生成するコードの正確性を評価する新しいフレームワークであるOPENIAを紹介する。 我々の経験的分析により、これらの内部表現が潜時情報を符号化し、生成したコードの正しさと強く相関していることが明らかとなった。 OPENIAはベースラインモデルより一貫して優れており、高い精度、精度、リコール、F1スコアを実現し、スタンドアロンコード生成の最大2倍の改善を実現している。
  論文  参考訳（メタデータ） (2025-01-22T15:04:13Z)
• An Effective Approach to Embedding Source Code by Combining Large Language and Sentence Embedding Models [6.976968804436321]
  本稿では,大言語と文埋め込みモデルを組み合わせた新しいソースコード埋め込み手法を提案する。 提案手法の性能を評価するため,異なるプログラミング言語を用いた3つのデータセットについて一連の実験を行った。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。