論文の概要: Stochastic Bridges as Effective Regularizers for Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2305.17670v1
• Date: Sun, 28 May 2023 09:22:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:26:30.022855
• Title: Stochastic Bridges as Effective Regularizers for Parameter-Efficient Tuning
• Title（参考訳）: パラメータ効率向上のための効果的な正規化器としての確率ブリッジ
• Authors: Weize Chen, Xu Han, Yankai Lin, Zhiyuan Liu, Maosong Sun, Jie Zhou
• Abstract要約: 中間状態の正則化(ランニングコスト)としてブリッジを使用するPETの正則化を提案する。 潜在能力と能力を考えると、より洗練された正則化器はPET用に設計できると信じている。
• 参考スコア（独自算出の注目度）: 98.27893964124829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient tuning methods (PETs) have achieved promising results in tuning large pre-trained language models (PLMs). By formalizing frozen PLMs and additional tunable parameters as systems and controls respectively, PETs can be theoretically grounded to optimal control and further viewed as optimizing the terminal cost and running cost in the optimal control literature. Despite the elegance of this theoretical grounding, in practice, existing PETs often ignore the running cost and only optimize the terminal cost, i.e., focus on optimizing the loss function of the output state, regardless of the running cost that depends on the intermediate states. Since it is non-trivial to directly model the intermediate states and design a running cost function, we propose to use latent stochastic bridges to regularize the intermediate states and use the regularization as the running cost of PETs. As the first work to propose regularized PETs that use stochastic bridges as the regularizers (running costs) for the intermediate states, we show the effectiveness and generality of this regularization across different tasks, PLMs and PETs. In view of the great potential and capacity, we believe more sophisticated regularizers can be designed for PETs and better performance can be achieved in the future. The code is released at \url{https://github.com/thunlp/stochastic-bridge-pet/tree/main}.
• Abstract（参考訳）: パラメータ効率調整法(PET)は,大規模事前学習言語モデル(PLM)のチューニングにおいて有望な結果を得た。 凍結したPLMと調整可能なパラメータをそれぞれシステムと制御として形式化することにより、PETは最適制御に理論的に基礎を置き、最適制御文献における端末コストとランニングコストの最適化とみなすことができる。 この理論的根拠のエレガントさにもかかわらず、実際には既存のPETはランニングコストを無視してターミナルコストのみを最適化し、中間状態に依存するランニングコストに関係なく、出力状態の損失関数の最適化に重点を置いている。 中間状態を直接モデル化してランニングコスト関数を設計するのは簡単ではないため,中間状態の正規化に潜時確率的ブリッジを用い,正規化をPETのランニングコストとして用いることを提案する。 中間状態の正則化(ランニングコスト)として確率的ブリッジを用いた正則化PETを提案する最初の試みとして、この正則化の有効性と汎用性を示す。 潜在能力と能力を考えると、より高度な正則化器はPET用に設計でき、将来より優れた性能が達成できると考えています。 コードは \url{https://github.com/thunlp/stochastic-bridge-pet/tree/main} でリリースされる。

関連論文リスト

• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Revisiting Parameter-Efficient Tuning: Are We Really There Yet? [33.13293845589329]
  PETuning法はファインタニングと同等かそれ以上のパフォーマンスを達成したと主張している。 本研究はPETuning法について,PETuning法の訓練と評価に関する総合的研究を行い,PETuning法を再検討するものである。
  論文  参考訳（メタデータ） (2022-02-16T10:11:19Z)
• A Nonmyopic Approach to Cost-Constrained Bayesian Optimization [10.078368988372247]
  コスト制約付きBOを制約付きマルコフ決定過程(CMDP)として定式化する。 コストと将来のイテレーションを考慮に入れた最適CMDPポリシーに対する効率的なロールアウト近似を開発する。
  論文  参考訳（メタデータ） (2021-06-10T22:44:37Z)
• Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization [5.459427541271035]
  ブラックボックス関数に対するコスト対応ベイズ最適化について述べる。 144個の実世界のブラックボックス関数最適化問題に対して、我々のソリューションは50%のスピードアップをもたらす。 また、ガウスのプロセスコストモデルに対する一般的な選択を再考し、単純で低分散のコストモデルがトレーニング時間を効果的に予測することを示した。
  論文  参考訳（メタデータ） (2020-11-23T15:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。