論文の概要: Invariant Pretraining for Robust Code Representations
- arxiv url: http://arxiv.org/abs/2608.15412v1
- Date: Sat, 15 Aug 2026 21:01:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.29274
- Title: Invariant Pretraining for Robust Code Representations
- Title（参考訳）: ロバスト符号表現のための不変事前学習
- Abstract要約: 不変プログラムの下では、意味論的に等価なコードは異なる構文形式で書かれ、学習された表現は著しく劣化する。
本研究では,4つのエンコーダベースライン,2つの下流タスク,4つのデータセットにまたがるロバスト性ギャップについて実験的検討を行った。
Invariant pretraining (InvPT) はコーパスに意味保存変換を適用する。
- 参考スコア（独自算出の注目度）: 8.667720376952728
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Encoder-based code representation models remain widely deployed for discriminative tasks such as clone detection and code classification, where their small size and low inference cost are decisive. Their robustness, however, is fragile: under invariant programs, semantically equivalent code written in different syntactic forms, learned representations degrade substantially even though program behavior is unchanged. We present an empirical study of this robustness gap across four encoder baselines, two downstream tasks, and four datasets, together with a minimal code-only continued pretraining recipe that closes much of it. Our method, invariant pretraining (InvPT), applies semantic-preserving transformations to the corpus and combines masked language modeling with multi-positive supervised contrastive learning that treats all augmentations of the same source function as positives, mixing self-contrast pairs (same code, different masks) with invariant-contrast pairs (transformed code) for positives of varying difficulty. Unlike prior contrastive code encoders, InvPT does not require paired natural-language data. Across our evaluation, InvPT improves robustness on transformed test sets by up to 11 percentage points on clone detection and 19 on code classification while matching or improving standard accuracy, and our ablations isolate multi-positive invariant contrast as the main source of the gains. Our aim is not a new objective but a careful measurement of where encoder robustness breaks and how far a simple, code-only recipe can recover it.
- Abstract（参考訳）: エンコーダベースのコード表現モデルは、クローン検出やコード分類といった差別的なタスクに対して広くデプロイされている。
不変プログラムでは、異なる構文形式で書かれた意味論的に等価なコード、学習された表現は、プログラムの振る舞いが変化しても著しく劣化する。
4つのエンコーダベースライン、2つのダウンストリームタスク、4つのデータセットにまたがる、この堅牢性ギャップに関する実証的研究と、その多くを閉じる最小限のコードのみを継続する事前学習レシピを示す。
InvPT(invariant pretraining)法はコーパスにセマンティック保存変換を適用し,同じソース関数のすべての拡張を正として扱う多正の教師付きコントラスト学習と組み合わせ,自己コントラストペア(サムコード,異なるマスク)と不変コントラストペア(変換符号)を混合し,様々な難易度を示す。
従来のコントラストコードエンコーダとは異なり、InvPTはペアの自然言語データを必要としない。
評価において,InvPTは,コード分類におけるクローン検出において最大11ポイント,標準精度において19ポイント,変換されたテストセット上でのロバスト性を向上し,マルチ陽性不変コントラストを利得の主源として分離した。
我々の目標は、新しい目的ではなく、エンコーダのロバスト性がどのように破られ、いかにシンプルでコードのみのレシピが回復できるかを慎重に測定することである。
関連論文リスト
- Type-IV Code Clone Detection via Layer-Wise Non-Contrastive Representation Learning [1.1386245013335434]
ソフトウェアクローンは、互いに似ているか機能的に等価なコードの断片である。
意味論的に等価だが構文的に異なるType-IVクローンの検出は、従来のトークンベースのメソッドや構文ベースのメソッドでは困難である。
タイプIVのクローン検出に特化して設計された非競合表現学習手法であるLWVIC4Codeを提案する。
論文 参考訳（メタデータ） (2026-09-15T15:42:06Z) - Synthetic Semantic Supervision for Contrastive Code Representation Learning in Small Transformers: An Empirical Study [8.409799680956013]
汎用コード埋め込みは、コード検索、分類、検索のためのパワーツールである。
コード機能と意図を強調する自然言語記述を合成的に生成した小型エンコーダのコントラスト事前学習について検討する。
論文 参考訳（メタデータ） (2026-09-03T11:41:09Z) - Encoder-Decoder Manifold Alignment for Idempotent Generation [51.959208893243776]
この失敗の主な理由は、エンコーダとデコーダによって学習された多様体間の幾何学的ミスマッチである。
我々は、エンコーダとデコーダに同じ基礎となるデータ多様体の一貫性のある表現を学習させ、このギャップを明示的に埋める新しいトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-21T02:14:37Z) - Readability-Robust Code Summarization via Meta Curriculum Learning [53.44612630063336]
現実の世界では、コードが貧弱な構造や難読化され、モデルのパフォーマンスが著しく低下することが多い。
本稿では,可読性の低いコードに対するコード要約の堅牢性を向上する,新しい微調整手法であるRoFTCodeSumを提案する。
論文 参考訳（メタデータ） (2026-01-09T02:38:24Z) - Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。
欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。
このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
論文 参考訳（メタデータ） (2025-09-11T07:07:11Z) - Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳（メタデータ） (2024-10-14T08:45:35Z) - Advanced Detection of Source Code Clones via an Ensemble of Unsupervised Similarity Measures [0.0]
本研究では,コード類似度評価のための新しいアンサンブル学習手法を提案する。
鍵となる考え方は、様々な類似度尺度の強みが互いに補完し、個々の弱点を軽減することである。
論文 参考訳（メタデータ） (2024-05-03T13:42:49Z) - Contrastive Test-Time Adaptation [83.73506803142693]
本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。
擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。
我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-04-21T19:17:22Z) - Disentangled Contrastive Learning for Learning Robust Textual
Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。
NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文 参考訳（メタデータ） (2021-04-11T03:32:49Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - Contrastive Code Representation Learning [95.86686147053958]
一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。
コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
論文 参考訳（メタデータ） (2020-07-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。