論文の概要: A Comparative Study of DSL Code Generation: Fine-Tuning vs. Optimized Retrieval Augmentation
- arxiv url: http://arxiv.org/abs/2407.02742v1
- Date: Wed, 3 Jul 2024 01:28:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 15:54:34.727429
- Title: A Comparative Study of DSL Code Generation: Fine-Tuning vs. Optimized Retrieval Augmentation
- Title（参考訳）: DSLコード生成の比較研究:細調整と検索の最適化
- Authors: Nastaran Bassamzadeh, Chhaya Methani,
- Abstract要約: 本稿では,Large Language Models (LLM) を用いた検索拡張生成(RAG)によるDSL生成の最適化について述べる。
その結果, コード類似度測定では, 微調整モデルが最も優れていた。
我々は、最適化されたRAGモデルが微調整されたモデルの品質と一致し、新しい、目に見えないAPIに利点をもたらすと結論付けている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural Language to Code Generation has made significant progress in recent years with the advent of Large Language Models(LLMs). While generation for general-purpose languages like C, C++, and Python has improved significantly, LLMs struggle with custom function names in Domain Specific Languages or DSLs. This leads to higher hallucination rates and syntax errors, specially for DSLs having a high number of custom function names. Additionally, constant updates to function names add to the challenge as LLMs need to stay up-to-date. In this paper, we present optimizations for using Retrieval Augmented Generation (or RAG) with LLMs for DSL generation along with an ablation study comparing these strategies. We generated a train as well as test dataset with a DSL to represent automation tasks across roughly 700 APIs in public domain. We used the training dataset to fine-tune a Codex model for this DSL. Our results showed that the fine-tuned model scored the best on code similarity metric. With our RAG optimizations, we achieved parity for similarity metric. The compilation rate, however, showed that both the models still got the syntax wrong many times, with RAG-based method being 2 pts better. Conversely, hallucination rate for RAG model lagged by 1 pt for API names and by 2 pts for API parameter keys. We conclude that an optimized RAG model can match the quality of fine-tuned models and offer advantages for new, unseen APIs.
- Abstract（参考訳）: 自然言語からコード生成へ 近年,Large Language Models (LLMs) の出現により,大きな進歩を遂げている。
C、C++、Pythonといった汎用言語の生成は大幅に改善されているが、LLMはドメイン特化言語やDSLのカスタム関数名に悩まされている。
これは、特に多数のカスタム関数名を持つDSLに対して、高い幻覚率と構文エラーをもたらす。
さらに、LLMが最新の状態を維持する必要があるため、関数名への定期的な更新が課題を増す。
本稿では,レトリーバル拡張生成(RAG)とLLMを用いたDSL生成のための最適化と,これらの戦略を比較するアブレーション研究について述べる。
私たちは、約700のパブリックドメインのAPIにわたる自動化タスクを表現するために、DSLを使用したテストデータセットだけでなく、トレインも生成しました。
私たちはトレーニングデータセットを使用して、このDSLのCodexモデルを微調整しました。
その結果, コード類似度測定では, 微調整モデルが最も優れていた。
RAGの最適化により、類似度測定値のパリティを達成しました。
しかし、コンパイル率を見ると、どちらのモデルも構文の誤りを何度も経験しており、RAGベースのメソッドの方が2 ptsの方が優れていることがわかった。
逆に、RAGモデルの幻覚率は、API名に1pt、APIパラメータキーに2ptでラベル付けされている。
我々は、最適化されたRAGモデルが微調整されたモデルの品質と一致し、新しい、目に見えないAPIに利点をもたらすと結論付けている。
関連論文リスト
- Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。
我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2024-09-02T03:19:56Z) - Plan with Code: Comparing approaches for robust NL to DSL generation [0.0]
コードのプランニングは多くのオーケストレーションタスクにおいて、より信頼性の高いアプローチだと考えられている。
本稿では,タスクプランニングの特別事例として,RPA(Robotic Process Automation)領域におけるワークフローの自動化に焦点を当てる。
論文 参考訳（メタデータ） (2024-08-15T04:29:33Z) - ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。
ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。
また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文 参考訳（メタデータ） (2024-06-12T21:01:26Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳（メタデータ） (2024-01-29T18:43:49Z) - Reinforcement Learning for Optimizing RAG for Domain Chatbots [4.12484724941528]
本稿では,FAQ(Frequently Asked Questions)データを用いて,ユーザの質問に回答するボットを構築するためのRAGベースのアプローチについて述べる。
我々はインフォメーションNCE損失を用いた社内検索埋め込みモデルをトレーニングし、実験結果から、インフォメーションモデルがよく知られた汎用的な公開埋め込みモデルよりもはるかにうまく機能することを実証した。
本稿では、ポリシーアクションを通じてRAGパイプラインと対話し、コストを最適化するためにポリシーを更新するRAG外部ポリシーベースのモデルを提案する。
論文 参考訳（メタデータ） (2024-01-10T02:57:20Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳（メタデータ） (2023-08-25T01:41:04Z) - On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。
開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。
既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文 参考訳（メタデータ） (2022-04-05T20:33:24Z) - WARP: Word-level Adversarial ReProgramming [13.08689221166729]
多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。
自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。
提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-01-01T00:41:03Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳（メタデータ） (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。