論文の概要: DemoCraft: Using In-Context Learning to Improve Code Generation in Large Language Models

• arxiv url: http://arxiv.org/abs/2411.00865v1
• Date: Wed, 30 Oct 2024 19:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:56.108499
• Title: DemoCraft: Using In-Context Learning to Improve Code Generation in Large Language Models
• Title（参考訳）: DemoCraft: 大規模言語モデルにおけるコード生成を改善するためにインコンテキスト学習を使用する
• Authors: Nirmal Joshua Kapu, Mihit Sreejith,
• Abstract要約: テキスト内学習と実演選択を活用してコード生成を向上させるDemoCraftを提案する。 潜在概念学習は、タスク固有の知識をキャプチャするトレーニング可能な埋め込みである、追加の概念トークンを導入している。 実験の結果,提案方式はpass@kの2倍の精度向上を実現していることがわかった。 我々の実証研究は、我々のシステムがこれらの指標の約3倍の改善を達成したことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Generating executable code from natural language instructions using Large Language Models (LLMs) poses challenges such as semantic ambiguity and understanding taskspecific contexts. To address these issues, we propose a system called DemoCraft, which enhances code generation by leveraging in-context learning and demonstration selection, combined with latent concept learning. Latent concept learning introduces additional concept tokens, which are trainable embeddings that capture task-specific knowledge. We then test our system on two major datasets: MBPP and Humaneval. Our experimental results demonstrate that the proposed system achieves an approximate 2x increase in the pass@k metric compared to baseline models. Furthermore, we introduce two novel evaluation metrics: correctness@k and similarity@k. Our empirical studies indicate that our system attains nearly a 3x improvement in these metrics as well.
• Abstract（参考訳）: LLM(Large Language Models)を用いた自然言語命令から実行可能なコードを生成すると、意味的曖昧さやタスク固有のコンテキストの理解といった課題が発生する。 これらの課題に対処するために,テキスト内学習と実演選択を活用してコード生成を向上させるDemoCraftというシステムと,潜在概念学習を併用したシステムを提案する。 潜在概念学習は、タスク固有の知識をキャプチャするトレーニング可能な埋め込みである、追加の概念トークンを導入している。 次に、MBPPとHumanevalの2つの主要なデータセットでシステムをテストする。 実験の結果,提案手法はベースラインモデルと比較してパス@kの2倍の精度向上を実現していることがわかった。 さらに,新しい評価指標として correctness@k と similarity@k を紹介した。 我々の実証研究は、我々のシステムがこれらの指標の約3倍の改善を達成したことを示唆している。

関連論文リスト

• Code Representation Learning At Scale [75.04686476303436]
  2段階の事前学習スキームを用いて,大量のコードデータを用いてコード表現学習を行う。 まず、マスキング言語モデリングにおけるランダム性と、プログラミング言語の構造的側面の両方を活用して、エンコーダを訓練する。 そして、教師なしの方法で強陰性かつ強正に構築された対照的な学習を通して表現を強化する。
  論文  参考訳（メタデータ） (2024-02-02T22:19:15Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• Social Learning: Towards Collaborative Learning with Large Language Models [10.24107243529341]
  大規模言語モデル(LLM)の文脈における「社会学習」の枠組みを紹介する。 LLM間の知識伝達のための2つのアプローチを提案し,評価する。 これらの手法による性能は,元のラベルとプロンプトを用いた結果に匹敵することを示す。
  論文  参考訳（メタデータ） (2023-12-18T18:44:10Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
  大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。 コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
  論文  参考訳（メタデータ） (2023-04-15T15:13:58Z)
• A Cohesive Distillation Architecture for Neural Language Models [0.0]
  自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。 本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
  論文  参考訳（メタデータ） (2023-01-12T08:01:53Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。