論文の概要: LoRACode: LoRA Adapters for Code Embeddings

• arxiv url: http://arxiv.org/abs/2503.05315v1
• Date: Fri, 07 Mar 2025 10:50:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:25:20.046541
• Title: LoRACode: LoRA Adapters for Code Embeddings
• Title（参考訳）: LoRACode: コード埋め込み用のLoRAアダプタ
• Authors: Saumya Chaturvedi, Aman Chadha, Laurent Bindschaedler,
• Abstract要約: コード検索のためのタスク固有アダプタを構築するために,ローランド適応(LoRA)に基づくパラメータ効率の微調整手法を提案する。 提案手法では,トレーニング可能なパラメータの数をベースモデルの2%未満に削減し,広範なコードコーパスを高速に微調整する。
• 参考スコア（独自算出の注目度）: 1.5525560291268214
• License:
• Abstract: Code embeddings are essential for semantic code search; however, current approaches often struggle to capture the precise syntactic and contextual nuances inherent in code. Open-source models such as CodeBERT and UniXcoder exhibit limitations in scalability and efficiency, while high-performing proprietary systems impose substantial computational costs. We introduce a parameter-efficient fine-tuning method based on Low-Rank Adaptation (LoRA) to construct task-specific adapters for code retrieval. Our approach reduces the number of trainable parameters to less than two percent of the base model, enabling rapid fine-tuning on extensive code corpora (2 million samples in 25 minutes on two H100 GPUs). Experiments demonstrate an increase of up to 9.1% in Mean Reciprocal Rank (MRR) for Code2Code search, and up to 86.69% for Text2Code search tasks across multiple programming languages. Distinction in task-wise and language-wise adaptation helps explore the sensitivity of code retrieval for syntactical and linguistic variations.
• Abstract（参考訳）: コード埋め込みはセマンティックコード検索に不可欠であるが、現在のアプローチでは、コードに固有の正確な構文的および文脈的ニュアンスを捉えるのに苦労することが多い。 CodeBERTやUniXcoderのようなオープンソースモデルはスケーラビリティと効率の限界を示し、ハイパフォーマンスなプロプライエタリなシステムは相当な計算コストを課している。 コード検索のためのタスク固有アダプタを構築するために,ローランド適応(LoRA)に基づくパラメータ効率の微調整手法を提案する。 提案手法では,トレーニング可能なパラメータの数をベースモデルの2%未満に削減し,広範なコードコーパス(2つのH100 GPU上で25分で200万サンプル)を高速に微調整する。 実験では、Code2Code検索における平均相反ランク(MRR)が最大9.1%増加し、Text2Code検索タスクが最大86.69%増加した。 タスク・ワイドおよび言語・アダプティブの識別は、構文的および言語的バリエーションに対するコード検索の感度を調査するのに役立つ。

関連論文リスト

• Resource-Efficient & Effective Code Summarization [3.512140256677132]
  QLoRAのようなGreenAI技術は、大規模モデルのサステナビリティを扱うための有望なパスを提供する。 本研究では,Python と Java の2つのプログラミング言語にまたがる最先端の CLM の評価を行った。 その結果、QLoRAはコード要約のためのCLMを効率的に微調整できることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T21:06:30Z)
• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• Prompt-based Code Completion via Multi-Retrieval Augmented Generation [15.233727939816388]
  ProCCは、プロンプトエンジニアリングとコンテキスト多武装バンディットアルゴリズムを活用したコード補完フレームワークである。 ProCCは、収集したオープンソースベンチマークスイートにおいて、最先端のコード補完テクニックを8.6%上回ります。 ProCCはまた, プラグ・アンド・プレイ方式で微調整技術を増強し, 実験した微調整モデルよりも5.6%改善した。
  論文  参考訳（メタデータ） (2024-05-13T07:56:15Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Code Detection for Hardware Acceleration Using Large Language Models [0.0]
  本研究は,大規模言語モデル(LLM)を用いたコード検出の最初の解析である。 コード検出のための予備的かつ素直なプロンプトと,新しいプロンプト戦略を提案する。 その結果, GEMM, 畳み込み, FFTでは68.8%, 22.3%, 79.2%の精度が得られた。 我々の新たなプロンプト戦略は偽陽性を大幅に減らし, 総合的精度(91.1%, 97.9%, 99.7%)は良好である。
  論文  参考訳（メタデータ） (2023-07-19T17:21:58Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。