論文の概要: ObscuraCoder: Powering Efficient Code LM Pre-Training Via Obfuscation Grounding

• arxiv url: http://arxiv.org/abs/2504.00019v1
• Date: Thu, 27 Mar 2025 23:08:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:26:08.269882
• Title: ObscuraCoder: Powering Efficient Code LM Pre-Training Via Obfuscation Grounding
• Title（参考訳）: ObscuraCoder: 効率のよいコード LM の事前トレーニング
• Authors: Indraneil Paul, Haoyi Yang, Goran Glavaš, Kristian Kersting, Iryna Gurevych,
• Abstract要約: 言語モデル(LM)は、コード記述ツールボックスのベースとなっている。 Code-LMの事前学習目標の変更を探求する研究は、データ効率の向上と構文とセマンティクスの相互接続性の向上を目的としており、顕著に不十分である。 本研究では,Code-LMが表面的な構文を超越し,事前学習したサンプルの効率を高めるために,難読化コードの基盤について検討する。
• 参考スコア（独自算出の注目度）: 60.37988508851391
• License:
• Abstract: Language models (LMs) have become a staple of the code-writing toolbox. Their pre-training recipe has, however, remained stagnant over recent years, barring the occasional changes in data sourcing and filtering strategies. In particular, research exploring modifications to Code-LMs' pre-training objectives, geared towards improving data efficiency and better disentangling between syntax and semantics, has been noticeably sparse, especially compared with corresponding efforts in natural language LMs. In this work, we examine grounding on obfuscated code as a means of helping Code-LMs look beyond the surface-form syntax and enhance their pre-training sample efficiency. To this end, we compile ObscuraX, a dataset of approximately 55M source and obfuscated code pairs in seven languages. Subsequently, we pre-train ObscuraCoder models, ranging in size from 255M to 2.8B parameters, on a 272B-token corpus that includes ObscuraX and demonstrate that our obfuscation-based pre-training recipe leads to consistent improvements in Code-LMs' abilities compared to both vanilla autoregressive pre-training as well as existing de-obfuscation (DOBF) objectives. ObscuraCoder demonstrates sizeable gains across multiple tests of syntactic and semantic code understanding, along with improved capabilities in multilingual code completion, multilingual code commit summarization, and multi-purpose library-oriented code generation.
• Abstract（参考訳）: 言語モデル(LM)は、コード記述ツールボックスのベースとなっている。 しかし、彼らの事前トレーニングのレシピは、データソーシングとフィルタリング戦略の時折の変更を禁止し、近年停滞している。 特に、データ効率の向上と構文と意味論の相違性の向上を目的とした、Code-LMの事前学習目標の変更を探求する研究は、特に自然言語 LM における対応する取り組みと比較して、顕著に少ない。 本研究では,Code-LMが表面的な構文を超越し,事前学習したサンプルの効率を高めるために,難読化コードの基盤について検討する。 この目的のために、約55Mのソースと難読化されたコードペアからなるデータセットであるObscuraXを7つの言語でコンパイルする。 次に、ObscuraXを含む272B-tokenコーパスを用いて、255Mから2.8Bパラメータの範囲でObscuraCoderモデルを事前訓練し、我々の難読化ベースの事前学習レシピが、バニラ自己回帰事前学習と既存の非難読化(DOBF)目標の両方と比較して、Code-LMsの能力に一貫した改善をもたらすことを実証した。 ObscuraCoderは、構文的および意味的コード理解の複数のテストにまたがって、多言語コード補完、多言語コードコミット要約、多目的ライブラリ指向コード生成の能力の改善とともに、大幅な向上を示す。

関連論文リスト

• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。 ICCDは、正と負のインコンテキストの例の出力分布を対比することで、入力ラベルマッピングを強調する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• CodeCipher: Learning to Obfuscate Source Code Against LLMs [5.872773591957006]
  我々は,LLMからの応答を保存しながら,コードからプライバシを乱す新しい方法であるCodeCipherを提案する。 CodeCipher は LLM の埋め込み行列を変換し、各行が元の行列内の別の単語に対応するようにし、難読化ソースコードのためのトークンとトークンの混同マッピングを生成する。 その結果,LLMの性能を保ちながらソースコードのプライバシを混乱させることに成功した。
  論文  参考訳（メタデータ） (2024-10-08T08:28:54Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保持するために追加情報を挿入する。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
  本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。 我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
  論文  参考訳（メタデータ） (2024-02-20T13:56:38Z)
• Transfer Attacks and Defenses for Large Language Models on Coding Tasks [30.065641782962974]
  大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。 本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。 実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T15:11:35Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
  コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。 本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-17T00:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。