論文の概要: Variational Prefix Tuning for Diverse and Accurate Code Summarization Using Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2505.09062v1
• Date: Wed, 14 May 2025 01:46:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.342751
• Title: Variational Prefix Tuning for Diverse and Accurate Code Summarization Using Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルを用いた多変量および高精度コード要約のための変分事前修正
• Authors: Junda Zhao, Yuliang Song, Eldan Cohen,
• Abstract要約: 変分前修正調整(VPT)は、訓練済みモデルの様々な正確な要約を生成する能力を高める新しいアプローチである。 本手法は,条件付き変分オートエンコーダ(CVAE)フレームワークをモジュールコンポーネントとして事前学習モデルに統合する。
• 参考スコア（独自算出の注目度）: 3.06414751922655
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advancements in source code summarization have leveraged transformer-based pre-trained models, including Large Language Models of Code (LLMCs), to automate and improve the generation of code summaries. However, existing methods often focus on generating a single high-quality summary for a given source code, neglecting scenarios where the generated summary might be inadequate and alternative options are needed. In this paper, we introduce Variational Prefix Tuning (VPT), a novel approach that enhances pre-trained models' ability to generate diverse yet accurate sets of summaries, allowing the user to choose the most suitable one for the given source code. Our method integrates a Conditional Variational Autoencoder (CVAE) framework as a modular component into pre-trained models, enabling us to model the distribution of observed target summaries and sample continuous embeddings to be used as prefixes to steer the generation of diverse outputs during decoding. Importantly, we construct our method in a parameter-efficient manner, eliminating the need for expensive model retraining, especially when using LLMCs. Furthermore, we employ a bi-criteria reranking method to select a subset of generated summaries, optimizing both the diversity and the accuracy of the options presented to users. We present extensive experimental evaluations using widely used datasets and current state-of-the-art pre-trained code summarization models to demonstrate the effectiveness of our approach and its adaptability across models.
• Abstract（参考訳）: ソースコード要約の最近の進歩は、コード要約の自動化と改善のために、LLMC(Large Language Models of Code)を含むトランスフォーマーベースの事前訓練モデルを活用している。 しかし、既存のメソッドは、しばしば与えられたソースコードに対して単一の高品質の要約を生成することに重点を置いており、生成された要約が不十分で代替オプションが必要なシナリオを無視している。 本稿では,事前学習したモデルに対して,多種多様かつ正確なサマリーセットを生成する能力を高め,ユーザが与えられたソースコードに対して最も適したものを選択できるようにする,変分前修正チューニング(VPT)を提案する。 提案手法は,条件付き変分オートエンコーダ(CVAE)フレームワークをモジュラーコンポーネントとして事前学習したモデルに統合し,観測対象の要約の分布をモデル化し,サンプルの連続埋め込みをプレフィックスとして使用することにより,復号時の多様な出力の生成を制御できる。 特にLLMCを用いた場合の高価なモデル再訓練の必要性を解消し,パラメータ効率のよい手法で提案手法を構築した。 さらに,提案手法を用いて,生成した要約のサブセットを選択し,ユーザが提示するオプションの多様性と精度を最適化する。 我々は、広く使われているデータセットと最先端の訓練済みコード要約モデルを用いて、広範囲な実験的評価を行い、我々のアプローチの有効性とモデル間の適応性を示す。

関連論文リスト

• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Exploring and Evaluating Personalized Models for Code Generation [9.25440316608194]
  パーソナライズのための変換器モデルの微調整を評価する。 i) すべてのモデルパラメータをチューニングできるカスタム微調整。 コード生成のためのこれらの微調整戦略を比較し、様々なデプロイメントシナリオにおいて、それぞれの潜在的な一般化とコスト効果について議論する。
  論文  参考訳（メタデータ） (2022-08-29T23:28:46Z)
• Bridging Pre-trained Models and Downstream Tasks for Source Code Understanding [13.65914588243695]
  本稿では,事前学習されたモデルとコード関連タスクをブリッジする手法を提案する。 我々は、下流データの多様性を豊かにする意味保存変換を利用する。 本稿では,既存の事前学習モデルを微調整するために,変換されたデータを手軽に整理するためのカリキュラム学習を紹介する。
  論文  参考訳（メタデータ） (2021-12-04T07:21:28Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。