論文の概要: Assessing Project-Level Fine-Tuning of ML4SE Models

• arxiv url: http://arxiv.org/abs/2206.03333v1
• Date: Tue, 7 Jun 2022 14:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 16:55:19.885676
• Title: Assessing Project-Level Fine-Tuning of ML4SE Models
• Title（参考訳）: ML4SEモデルのプロジェクトレベル微調整の評価
• Authors: Egor Bogomolov and Sergey Zhuravlev and Egor Spirin and Timofey Bryksin
• Abstract要約: 特定のプロジェクトをターゲットにすれば、モデルの品質をどのように改善できるかを検討する。 複雑さの異なる3つのモデルを評価し、その品質を3つの設定で比較する。 プロジェクトごとの微調整は、プロジェクトのドメインと命名規則をキャプチャすることで、モデルの品質を大幅に向上させることができます。
• 参考スコア（独自算出の注目度）: 3.699097874146491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning for Software Engineering (ML4SE) is an actively growing research area that focuses on methods that help programmers in their work. In order to apply the developed methods in practice, they need to achieve reasonable quality in order to help rather than distract developers. While the development of new approaches to code representation and data collection improves the overall quality of the models, it does not take into account the information that we can get from the project at hand. In this work, we investigate how the model's quality can be improved if we target a specific project. We develop a framework to assess quality improvements that models can get after fine-tuning for the method name prediction task on a particular project. We evaluate three models of different complexity and compare their quality in three settings: trained on a large dataset of Java projects, further fine-tuned on the data from a particular project, and trained from scratch on this data. We show that per-project fine-tuning can greatly improve the models' quality as they capture the project's domain and naming conventions. We open-source the tool we used for data collection, as well as the code to run the experiments: https://zenodo.org/record/6040745.
• Abstract（参考訳）: machine learning for software engineering(ml4se)は、プログラマの作業を支援する手法に焦点を当てた、活発に成長している研究分野である。 開発手法を実際に適用するには,開発者の注意をそらすのではなく,適切な品質を実現する必要がある。 コード表現とデータ収集に対する新しいアプローチの開発は、モデル全体の品質を改善するが、目の前のプロジェクトから得られる情報を考慮してはいない。 本研究では,特定のプロジェクトを対象とした場合のモデルの品質改善について検討する。 我々は、特定のプロジェクトにおけるメソッド名予測タスクの微調整後にモデルが得る品質改善を評価するフレームワークを開発した。 異なる複雑さの3つのモデルを評価し、その品質を3つの設定で比較します。javaプロジェクトの大規模なデータセット上でトレーニングされ、特定のプロジェクトのデータに基づいてさらに微調整され、このデータからスクラッチからトレーニングされます。 プロジェクトごとの微調整は、プロジェクトのドメインと命名規則をキャプチャすることで、モデルの品質を大幅に改善できることを示す。 データ収集に使用したツールと、実験を実行するためのコードを、オープンソースで公開しています。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
  データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。 提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:01Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Generative Design through Quality-Diversity Data Synthesis and Language Models [5.196236145367301]
  エンジニアリングアプリケーションにおける2つの基本的な課題は、ハイパフォーマンスで多様なデータセットの取得と、生成された設計における正確な制約への固執である。 アーキテクチャ設計におけるこれらの課題に取り組むために,最適化,制約満足度,言語モデルを組み合わせた新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-16T11:30:08Z)
• What matters when building vision-language models? [52.8539131958858]
  我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。 Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。 トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
  論文  参考訳（メタデータ） (2024-05-03T17:00:00Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Optimizing the AI Development Process by Providing the Best Support Environment [0.756282840161499]
  機械学習の主なステージは、問題理解、データ管理、モデル構築、モデル展開、メンテナンスである。 このフレームワークは、ディープラーニングの進歩を使ってデータ拡張を実行するために、python言語を使用して構築された。
  論文  参考訳（メタデータ） (2023-04-29T00:44:50Z)
• Learning code summarization from a small and local dataset [0.0]
  プロジェクト固有のデータでトレーニングし、同じプロジェクトでテストすることは、有望なアイデアです。 我々は,同プロジェクトトレーニング,クロスプロジェクトトレーニング,特にサンプル効率のよいモデルトレーニングなど,いくつかのモデルとトレーニングアプローチを比較した。 マキシマリストのハイブリッド設定は、最先端技術よりも一貫性があり、実質的な利益をもたらす。
  論文  参考訳（メタデータ） (2022-06-02T00:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。