論文の概要: E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model

• arxiv url: http://arxiv.org/abs/2404.11581v2
• Date: Mon, 24 Feb 2025 02:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.283941
• Title: E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model
• Title（参考訳）: E2ETune: 微調整生成言語モデルによるエンドツーエンドノブチューニング
• Authors: Xinmei Huang, Haoyang Li, Jing Zhang, Xinxin Zhao, Zhiming Yao, Yiyan Li, Tieying Zhang, Jianjun Chen, Hong Chen, Cuiping Li,
• Abstract要約: E2ETuneは、細調整された生成言語モデルを利用した、エンドツーエンドのノブチューナーである。 本稿では,大量のトレーニングデータを効率的に自動生成する新しいデータ生成フレームワークを提案する。 これらの合成データは、生成言語モデルを微調整するために使用され、E2ETuneというエンドツーエンドのノブチューナーが生成される。
• 参考スコア（独自算出の注目度）: 22.661022020554622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Database knob tuning is a significant challenge for database administrators (DBAs), as it involves tuning a large number of configuration knobs with continuous or discrete values to achieve optimal database performance. Traditional methods, such as manual tuning or learning-based approaches, typically require numerous workload replays and are both time-consuming and resource-intensive. To address this challenge, we introduce E2ETune, an end-to-end knob tuner powered by a fine-tuned generative language model. The key idea is to leverage the exceptional sequence-to-sequence modeling capabilities of generative language models to capture the complex mapping between workloads (inputs) and their corresponding promising configurations (outputs). To achieve this goal, we propose a novel data generation framework designed to efficiently and automatically produce a vast quantity of training data, where each data sample consists of a <workload, promising configuration> pair. Then, these synthetic data are used to fine-tune a generative language model, yielding an end-to-end knob tuner named E2ETune. This tuner can directly recommend promising configurations for any new workload, eliminating the need for the extensive workload replays required by previous approaches. We have conducted extensive experiments to evaluate E2ETune's effectiveness and efficiency, utilizing 10 representative benchmarks and 3 real-world benchmarks. Compared to state-of-the-art methods, E2ETune demonstrates a significantly faster ability to identify superior configurations, achieving higher throughput or lower latency. For example, with the challenging JOB benchmark, E2ETune finds the best-performing configuration in an average of 24x less time compared to existing approaches.
• Abstract（参考訳）: データベース管理者(DBA)にとってデータベースノブチューニングは重要な課題であり、データベースのパフォーマンスを最適なものにするためには、多数の構成ノブを連続的あるいは離散的な値でチューニングする必要がある。 手動チューニングや学習ベースのアプローチといった従来の手法は、通常、多くのワークロードのリプレイを必要とし、時間とリソース集約の両方を必要とする。 この課題に対処するために、細調整された生成言語モデルを利用したエンドツーエンドのknobチューナーであるE2ETuneを紹介する。 キーとなるアイデアは、生成言語モデルの例外的なシーケンス・ツー・シーケンス・モデリング機能を活用して、ワークロード(インプット)とそれに対応する有望な構成(アウトプット)の間の複雑なマッピングをキャプチャすることです。 この目的を達成するために、我々は大量のトレーニングデータを効率よく自動生成するように設計された新しいデータ生成フレームワークを提案する。 次に、これらの合成データを用いて生成言語モデルを微調整し、E2ETuneというエンドツーエンドのノブチューナーを生成する。 このチューナーは、任意の新しいワークロードに対して有望な設定を直接推奨することができ、以前のアプローチで必要とされる広範なワークロードのリプレイを不要にすることができる。 我々は,10の代表的なベンチマークと3つの実世界のベンチマークを用いて,E2ETuneの有効性と効率を評価するための広範囲な実験を行った。 最先端の方法と比較して、E2ETuneは優れた構成を識別し、高いスループットや低いレイテンシを実現する能力が大幅に向上している。 例えば、挑戦的なJOBベンチマークでは、E2ETuneは、既存のアプローチと比べて平均24倍の時間で最高のパフォーマンスのコンフィギュレーションを見つける。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Dynamic Data Mixing Maximizes Instruction Tuning for Mixture-of-Experts [20.202031878825153]
  そこで本研究では,MoE命令チューニングのための新しい動的データ混合手法を提案する。 MoEのトークンルーティングの好みにインスパイアされた私たちは、データセットレベルの表現を構築し、データセット間の微妙な違いをキャプチャします。 2つのMoEモデルの結果は、下流の知識と推論タスクとオープンエンドクエリの両方に対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-17T06:47:03Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)
• Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation [9.574486521686323]
  Bonitoは、未注釈のテキストをタスク固有のトレーニングデータセットに変換する条件付きタスク生成のモデルである。 そこで,本研究では,自己教師付きベースライン上での事前学習モデルと指導モデルの平均性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T13:54:57Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
  MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。 我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
  論文  参考訳（メタデータ） (2023-05-24T04:22:26Z)
• Deep learning based Auto Tuning for Database Management System [0.12891210250935148]
  本研究では,Ottertuneをベースとした自動手法を拡張し,従来のセッションから収集したデータを再利用し,教師付きおよび教師なしの機械学習手法を用いて新たなデプロイメントをチューニングし,遅延予測を改善する。 我々は、GMMクラスタリングを使用してメトリクスをプルークし、RandomForestのようなアンサンブルモデルとニューラルネットワークのような非線形モデルを組み合わせて予測モデルを作成します。
  論文  参考訳（メタデータ） (2023-04-25T11:52:52Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Parameter-Efficient Finetuning of Transformers for Source Code [11.858514933732305]
  事前訓練されたトランスフォーマーは、様々なコード処理タスクで最先端のパフォーマンスを達成するが、デプロイするには大きすぎる可能性がある。 NLPタスクで最初にテストされたアダプタとLoRAという,広く使用されている2つのアプローチを試した。 効率的な微調整アプローチは、コード理解タスクにおいて、標準的な完全微調整よりも同等または高いパフォーマンスを達成することができるが、コード生成タスクでは、完全な微調整を実行する。
  論文  参考訳（メタデータ） (2022-12-12T14:00:57Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms [0.6543507682026964]
  Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。 これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。 そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
  論文  参考訳（メタデータ） (2021-09-13T19:10:23Z)
• NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of Models [90.6485663020735]
  事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。 我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
  論文  参考訳（メタデータ） (2021-08-07T12:03:14Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。