論文の概要: Data-oriented Dynamic Fine-tuning Parameter Selection Strategy for FISH
Mask based Efficient Fine-tuning
- arxiv url: http://arxiv.org/abs/2403.08484v1
- Date: Wed, 13 Mar 2024 12:50:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:43:49.872970
- Title: Data-oriented Dynamic Fine-tuning Parameter Selection Strategy for FISH
Mask based Efficient Fine-tuning
- Title（参考訳）: FISHのためのデータ指向動的微調整パラメータ選択法
マスクを用いた効率的なファインチューニング
- Authors: Ming Dong, Kang Xue, Bolong Zheng, Tingting He
- Abstract要約: FISH Maskのサンプルパラメータ対の最適設定を探索するIRDアルゴリズムを提案する。
GLUEベンチマークを用いて提案手法の有効性と合理性を示す。
- 参考スコア（独自算出の注目度）: 9.423534576254712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In view of the huge number of parameters of Large language models (LLMs) ,
tuning all parameters is very costly, and accordingly fine-tuning specific
parameters is more sensible. Most of parameter efficient fine-tuning (PEFT)
concentrate on parameter selection strategies, such as additive method,
selective method and reparametrization-based method. However, there are few
methods that consider the impact of data samples on parameter selecting, such
as Fish Mask based method. Fish Mask randomly choose a part of data samples and
treat them equally during parameter selection, which is unable to dynamically
select optimal parameters for inconstant data distributions. In this work, we
adopt a data-oriented perspective, then proposing an IRD ($\mathrm{\underline
I}$terative sample-parameter $\mathrm{\underline R}$ange $\mathrm{\underline
D}$ecreasing) algorithm to search the best setting of sample-parameter pair for
FISH Mask. In each iteration, by searching the set of samples and parameters
with larger Fish information, IRD can find better sample-parameter pair in most
scale. We demonstrate the effectiveness and rationality of proposed strategy by
conducting experiments on GLUE benchmark. Experimental results show our
strategy optimizes the parameter selection and achieves preferable performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)の膨大な数のパラメータを考慮すると、すべてのパラメータのチューニングは非常にコストがかかります。
パラメータ効率のよい微調整(PEFT)のほとんどは、加算法、選択法、再パラメータ化に基づく方法などのパラメータ選択戦略に重点を置いている。
しかし、フィッシュマスク法のようなパラメータ選択におけるデータサンプルの影響を考慮する方法はほとんどない。
フィッシュマスクはデータサンプルの一部をランダムに選択し、パラメータ選択時に等しく扱い、不安定なデータ分布に対して最適なパラメータを動的に選択することはできない。
本研究では、データ指向の視点を採用し、次にIRD($mathrm{\underline I}$terative sample-parameter $\mathrm{\underline R}$ange $\mathrm{\underline D}$ecreasing)アルゴリズムを提案し、FISH Maskのサンプルパラメータペアの最適な設定を探索する。
各イテレーションにおいて、より大きな魚情報でサンプルとパラメータのセットを探索することにより、IRDはより優れたサンプルパラメータ対をほとんどのスケールで見つけることができる。
GLUEベンチマークを用いて提案手法の有効性と合理性を示す。
実験結果から,パラメータ選択を最適化し,良好な性能が得られた。
関連論文リスト
- Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - Towards Free Data Selection with General-Purpose Models [71.92151210413374]
望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。
アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。
FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
論文 参考訳（メタデータ） (2023-09-29T15:50:14Z) - Efficient and Robust Bayesian Selection of Hyperparameters in Dimension
Reduction for Visualization [0.0]
本稿では,次元減少(DR)アルゴリズムにおけるハイパーパラメータ選択のための,効率的かつ堅牢な自動チューニングフレームワークを提案する。
提案手法により,多目的トレードオフを用いた効率的なハイパーパラメータ選択が可能となり,データ駆動分析が可能となった。
我々は,複数の品質指標を用いて,様々な合成および実世界のデータセットを用いて評価を行った。
論文 参考訳（メタデータ） (2023-06-01T05:36:22Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳（メタデータ） (2023-05-26T08:44:42Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳（メタデータ） (2022-11-28T17:41:48Z) - HPS-Det: Dynamic Sample Assignment with Hyper-Parameter Search for
Object Detection [25.71039912705784]
本稿では,ハイパーパラメータ探索に基づく新しい動的サンプル割当て方式を提案する。
実験により、結果のHPS-Detは、異なるオブジェクト検出ベースラインよりもパフォーマンスが向上することが示された。
論文 参考訳（メタデータ） (2022-07-23T15:13:57Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Hyperparameter Selection for Subsampling Bootstraps [0.0]
BLBのようなサブサンプリング手法は、大量のデータに対する推定器の品質を評価する強力なツールとして機能する。
サブサンプリング法の性能は,チューニングパラメータの選択によって大きく影響を受ける。
本研究では,サブサンプリング手法のチューニングパラメータの選択に利用できるハイパーパラメータ選択手法を開発した。
シミュレーション研究と実データ解析の両方が,本手法の優位性を証明している。
論文 参考訳（メタデータ） (2020-06-02T17:10:45Z) - Multi-Objective Hyperparameter Tuning and Feature Selection using Filter
Ensembles [0.8029049649310213]
特徴選択を多目的最適化タスクとして扱う。
まず、多目的モデルベースの最適化を使用する。
第二に、NSGA-IIベースのラッパーアプローチによる特徴選択である。
論文 参考訳（メタデータ） (2019-12-30T13:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。