論文の概要: Assessing Project-Level Fine-Tuning of ML4SE Models
- arxiv url: http://arxiv.org/abs/2206.03333v1
- Date: Tue, 7 Jun 2022 14:19:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 16:55:19.885676
- Title: Assessing Project-Level Fine-Tuning of ML4SE Models
- Title(参考訳): ML4SEモデルのプロジェクトレベル微調整の評価
- Authors: Egor Bogomolov and Sergey Zhuravlev and Egor Spirin and Timofey
Bryksin
- Abstract要約: 特定のプロジェクトをターゲットにすれば、モデルの品質をどのように改善できるかを検討する。
複雑さの異なる3つのモデルを評価し、その品質を3つの設定で比較する。
プロジェクトごとの微調整は、プロジェクトのドメインと命名規則をキャプチャすることで、モデルの品質を大幅に向上させることができます。
- 参考スコア(独自算出の注目度): 3.699097874146491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning for Software Engineering (ML4SE) is an actively growing
research area that focuses on methods that help programmers in their work. In
order to apply the developed methods in practice, they need to achieve
reasonable quality in order to help rather than distract developers. While the
development of new approaches to code representation and data collection
improves the overall quality of the models, it does not take into account the
information that we can get from the project at hand.
In this work, we investigate how the model's quality can be improved if we
target a specific project. We develop a framework to assess quality
improvements that models can get after fine-tuning for the method name
prediction task on a particular project. We evaluate three models of different
complexity and compare their quality in three settings: trained on a large
dataset of Java projects, further fine-tuned on the data from a particular
project, and trained from scratch on this data. We show that per-project
fine-tuning can greatly improve the models' quality as they capture the
project's domain and naming conventions. We open-source the tool we used for
data collection, as well as the code to run the experiments:
https://zenodo.org/record/6040745.
- Abstract(参考訳): machine learning for software engineering(ml4se)は、プログラマの作業を支援する手法に焦点を当てた、活発に成長している研究分野である。
開発手法を実際に適用するには,開発者の注意をそらすのではなく,適切な品質を実現する必要がある。
コード表現とデータ収集に対する新しいアプローチの開発は、モデル全体の品質を改善するが、目の前のプロジェクトから得られる情報を考慮してはいない。
本研究では,特定のプロジェクトを対象とした場合のモデルの品質改善について検討する。
我々は、特定のプロジェクトにおけるメソッド名予測タスクの微調整後にモデルが得る品質改善を評価するフレームワークを開発した。
異なる複雑さの3つのモデルを評価し、その品質を3つの設定で比較します。javaプロジェクトの大規模なデータセット上でトレーニングされ、特定のプロジェクトのデータに基づいてさらに微調整され、このデータからスクラッチからトレーニングされます。
プロジェクトごとの微調整は、プロジェクトのドメインと命名規則をキャプチャすることで、モデルの品質を大幅に改善できることを示す。
データ収集に使用したツールと、実験を実行するためのコードを、オープンソースで公開しています。
関連論文リスト
- An Integrated Data Processing Framework for Pretraining Foundation
Models [61.66552412677197]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳(メタデータ) (2024-02-26T07:22:51Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳(メタデータ) (2024-01-23T17:22:00Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - Code quality assessment using transformers [0.0]
本研究では,品質スコアをJavaコードに自動的に割り当てるCodeBERTについて検討する。
コード品質評価のための新しいデータセット上で,モデルの精度について検討する。
コード品質はある程度予測可能であり、タスク適応型事前学習を用いたトランスフォーマーベースモデルは、他の手法よりも効率的にタスクを解くことができる。
論文 参考訳(メタデータ) (2023-09-17T12:59:59Z) - Optimizing the AI Development Process by Providing the Best Support
Environment [0.756282840161499]
機械学習の主なステージは、問題理解、データ管理、モデル構築、モデル展開、メンテナンスである。
このフレームワークは、ディープラーニングの進歩を使ってデータ拡張を実行するために、python言語を使用して構築された。
論文 参考訳(メタデータ) (2023-04-29T00:44:50Z) - Learning code summarization from a small and local dataset [0.0]
プロジェクト固有のデータでトレーニングし、同じプロジェクトでテストすることは、有望なアイデアです。
我々は,同プロジェクトトレーニング,クロスプロジェクトトレーニング,特にサンプル効率のよいモデルトレーニングなど,いくつかのモデルとトレーニングアプローチを比較した。
マキシマリストのハイブリッド設定は、最先端技術よりも一貫性があり、実質的な利益をもたらす。
論文 参考訳(メタデータ) (2022-06-02T00:16:03Z) - ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented
Visual Models [102.63817106363597]
ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。
20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。
研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
論文 参考訳(メタデータ) (2022-04-19T10:23:42Z) - Kubric: A scalable dataset generator [73.78485189435729]
KubricはPythonフレームワークで、PyBulletやBlenderとインターフェースして写真リアリスティックなシーンを生成する。
本研究では,3次元NeRFモデルの研究から光フロー推定まで,13種類の異なるデータセットを提示することで,Kubricの有効性を実証する。
論文 参考訳(メタデータ) (2022-03-07T18:13:59Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。