論文の概要: Synthetic Semantic Supervision for Contrastive Code Representation Learning in Small Transformers: An Empirical Study

• arxiv url: http://arxiv.org/abs/2609.03702v1
• Date: Thu, 03 Sep 2026 11:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.043537
• Title: Synthetic Semantic Supervision for Contrastive Code Representation Learning in Small Transformers: An Empirical Study
• Title（参考訳）: 小形変圧器におけるコントラストコード表現学習のためのセマンティック・スーパービジョン : 実証的研究
• Abstract要約: 汎用コード埋め込みは、コード検索、分類、検索のためのパワーツールである。 コード機能と意図を強調する自然言語記述を合成的に生成した小型エンコーダのコントラスト事前学習について検討する。
• 参考スコア（独自算出の注目度）: 8.409799680956013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: General-purpose code embeddings power tools for code search, classification, and retrieval. Compact transformer encoders for code typically rely on either human-written docstrings (labor-intensive and inconsistent) or mined structural signals such as execution traces (setting-specific and costly to collect). We empirically study an alternative: contrastive pretraining of small encoders with synthetically generated natural-language descriptions emphasizing code functionality and intent, paired with code in a dual-encoder framework at training and discarded at inference. We benchmark this approach against pretraining-based baselines, generalist LLMs, and embedding-specific models on eight retrieval, classification, and generation tasks across C, C++, and Java. Synthetic semantic supervision yields statistically significant gains over pretraining baselines of the same inference-time size on five of eight tasks, with parity on two more; once fine-tuned, it matches or exceeds zero-shot models two orders of magnitude larger on classification, and it stays on par with execution-aware supervision at matched pretraining data, suggesting a scalable, effective alternative to existing code-representation paradigms.
• Abstract（参考訳）: 汎用コード埋め込みは、コード検索、分類、検索のためのパワーツールである。 コード用のコンパクトなトランスフォーマーエンコーダは、典型的には人書きのドクストリング(労働集約型で一貫性のない)か、実行トレース(設定専用で収集に費用がかかる)などの地雷構造信号に頼っている。 コード機能と意図を強調した、合成された自然言語記述による小さなエンコーダの対照的な事前学習、トレーニング時のデュアルエンコーダフレームワークでのコードとのペアリング、推論時の破棄。 我々は,C,C++,Javaの8つの検索,分類,生成タスクに対して,事前学習ベースのベースライン,一般LLM,埋め込み固有のモデルに対して,このアプローチをベンチマークする。 セマンティック・セマンティック・インフォメーション(Synthetic semantic supervision)は、8つのタスクのうち5つのタスクで同じ推論時間サイズのベースラインを事前訓練するよりも統計的に有意な利益をもたらす。

関連論文リスト

• Readability-Robust Code Summarization via Meta Curriculum Learning [53.44612630063336]
  現実の世界では、コードが貧弱な構造や難読化され、モデルのパフォーマンスが著しく低下することが多い。 本稿では,可読性の低いコードに対するコード要約の堅牢性を向上する,新しい微調整手法であるRoFTCodeSumを提案する。
  論文  参考訳（メタデータ） (2026-01-09T02:38:24Z)
• Chain of Execution Supervision Promotes General Reasoning in Large Language Models [48.100128916029064]
  TracePileは260万のサンプルからなる大規模なコーパスで、コード実行を明示的でステップバイステップのチェーン・オブ・シンクスタイルの論理に変換する。 我々は,継続事前訓練,事前訓練後の指導訓練,2段階微調整という3つのトレーニング設定を用いてTracePileを評価する。 特にTracePileは、9つの数学データセットでLLaMA3.1-8Bを平均7.1%向上させ、LiveCodeBench、CRUX、MMLUで明確なゲインを提供する。
  論文  参考訳（メタデータ） (2025-10-24T02:21:11Z)
• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Soft-Labeled Contrastive Pre-training for Function-level Code Representation [127.71430696347174]
  textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。 大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。 SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2022-10-18T05:17:37Z)
• CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation [36.47905744758698]
  我々は、開発者が指定した識別子から伝達されるコードセマンティクスをよりよく活用する、事前訓練されたエンコーダ-デコーダ変換モデルであるCodeT5を提案する。 我々のモデルは、コード理解と生成タスクの両方をシームレスにサポートし、マルチタスク学習を可能にする統一的なフレームワークを採用している。
  論文  参考訳（メタデータ） (2021-09-02T12:21:06Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。