論文の概要: Learning code summarization from a small and local dataset

• arxiv url: http://arxiv.org/abs/2206.00804v1
• Date: Thu, 2 Jun 2022 00:16:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 14:54:21.871896
• Title: Learning code summarization from a small and local dataset
• Title（参考訳）: 小さくて局所的なデータセットからコード要約を学ぶ
• Authors: Toufique Ahmed and Premkumar Devanbu
• Abstract要約: プロジェクト固有のデータでトレーニングし、同じプロジェクトでテストすることは、有望なアイデアです。 我々は,同プロジェクトトレーニング,クロスプロジェクトトレーニング,特にサンプル効率のよいモデルトレーニングなど,いくつかのモデルとトレーニングアプローチを比較した。 マキシマリストのハイブリッド設定は、最先端技術よりも一貫性があり、実質的な利益をもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (e.g., CodeBERT, GraphCodeBERT, CodeT5) work well for many software engineering tasks. These models are pre-trained (using self-supervision) with billions of code tokens, and then fine-tuned with hundreds of thousands of labeled examples, typically drawn from many projects. However, software phenomena can be very project-specific. Vocabulary, and other phenomena vary substantially with each project. Thus, training on project-specific data, and testing on the same project, is a promising idea. This hypothesis has to be evaluated carefully, e.g., in a time-series setting, to prevent training-test leakage. We compare several models and training approaches, including same-project training, cross-project training, training a model especially designed to be sample efficient (and thus prima facie well-suited for learning in a limited-sample same-project setting) and a maximalist hybrid approach, fine-tuning first on many projects in many languages and then training on the same-project. We find that the maximalist hybrid setting provides consistent, substantial gains over the state-of-the-art, on many different projects in both Java and Python.
• Abstract（参考訳）: ファンデーションモデル(CodeBERT、GraphCodeBERT、CodeT5)は多くのソフトウェアエンジニアリングタスクでうまく機能する。 これらのモデルは、何十億ものコードトークンを持つ事前トレーニング(自己監視を使用して)され、その後、多くのプロジェクトから引き出された数十万のラベル付き例で微調整される。 しかし、ソフトウェア現象は非常にプロジェクト固有のものである。 語彙、その他の現象はプロジェクトごとに大きく異なる。 したがって、プロジェクト固有のデータのトレーニングと、同じプロジェクトでのテストは、有望なアイデアです。 この仮説は、例えば、トレーニングテストのリークを防ぐために、時系列設定で慎重に評価する必要がある。 我々は、同プロジェクトトレーニング、クロスプロジェクトトレーニング、特にサンプル効率のよいモデル(したがって限定サンプルの同プロジェクト環境での学習に適したプリマファシエ)のトレーニング、およびマキシマリストハイブリッドアプローチなど、いくつかのモデルとトレーニングアプローチを比較し、まず多くの言語で多くのプロジェクトで微調整を行い、その後同じプロジェクトでトレーニングする。 マキシマリストのハイブリッド設定は、JavaとPythonの両方の多くの異なるプロジェクトにおいて、最先端技術よりも一貫性があり、実質的な利益をもたらします。

関連論文リスト

• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• DevEval: Evaluating Code Generation in Practical Software Projects [52.16841274646796]
  我々はDevEvalという名の新しいベンチマークを提案し、実践プロジェクトにおける開発者の経験と一致している。 DevEvalは、119の実用的なプロジェクトから2,690のサンプルを含む厳格なパイプラインを通じて収集される。 DevEvalの5つの人気のあるLCMを評価し、コード生成における実際の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-01-12T06:51:30Z)
• Few-shot learning for sentence pair classification and its applications in software engineering [0.36832029288386137]
  本研究は、BERTベースのモデルを用いた代替的な数ショット学習手法の性能について検討する。 バニラファインチューニング、PET、SetFitは、トレーニングセットサイズの配列に対して、BERTベースの多数のチェックポイントと比較される。 結果から,PETは強力な数発学習手法として確立し,数百のラベル付きサンプルを用いて,フルサイズのデータセットの微調整に近い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-13T18:23:52Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Few-shot training LLMs for project-specific code-summarization [0.0]
  GPT(Generative Pre-trained Transformer)コーデックスモデルを用いた数ショットトレーニングについて検討する。 コード要約の最先端モデルを大幅に超えることができることを示す証拠が見つかった。
  論文  参考訳（メタデータ） (2022-07-09T09:57:11Z)
• Assessing Project-Level Fine-Tuning of ML4SE Models [3.699097874146491]
  特定のプロジェクトをターゲットにすれば、モデルの品質をどのように改善できるかを検討する。 複雑さの異なる3つのモデルを評価し、その品質を3つの設定で比較する。 プロジェクトごとの微調整は、プロジェクトのドメインと命名規則をキャプチャすることで、モデルの品質を大幅に向上させることができます。
  論文  参考訳（メタデータ） (2022-06-07T14:19:33Z)
• Multi-Task Self-Training for Learning General Representations [97.01728635294879]
  マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2021-08-25T17:20:50Z)
• How to Design Sample and Computationally Efficient VQA Models [53.65668097847456]
  テキストを確率的プログラムとして表現し,イメージをオブジェクトレベルのシーングラフとして表現することが,これらのデシラタを最も満足していることが判明した。 既存のモデルを拡張して,これらのソフトプログラムとシーングラフを活用して,エンドツーエンドで質問応答ペアをトレーニングします。
  論文  参考訳（メタデータ） (2021-03-22T01:48:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。