論文の概要: Different Tunes Played with Equal Skill: Exploring a Unified
Optimization Subspace for Delta Tuning
- arxiv url: http://arxiv.org/abs/2210.13311v1
- Date: Mon, 24 Oct 2022 14:57:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:46:52.996199
- Title: Different Tunes Played with Equal Skill: Exploring a Unified
Optimization Subspace for Delta Tuning
- Title(参考訳): 平等スキルを備えた異なるチューン - デルタチューニングのための統一最適化サブスペースの探索
- Authors: Jing Yi, Weize Chen, Yujia Qin, Yankai Lin, Ning Ding, Xu Han, Zhiyuan
Liu, Maosong Sun, Jie Zhou
- Abstract要約: デルタチューニング(DET)は、事前学習言語モデル(PLM)を使用するための新しいパラダイムであると考えられている。
これまでのところ、異なる設計要素を持つ様々なDETが提案されており、微調整と同等のパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 95.72622659619445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Delta tuning (DET, also known as parameter-efficient tuning) is deemed as the
new paradigm for using pre-trained language models (PLMs). Up to now, various
DETs with distinct design elements have been proposed, achieving performance on
par with fine-tuning. However, the mechanisms behind the above success are
still under-explored, especially the connections among various DETs. To fathom
the mystery, we hypothesize that the adaptations of different DETs could all be
reparameterized as low-dimensional optimizations in a unified optimization
subspace, which could be found by jointly decomposing independent solutions of
different DETs. Then we explore the connections among different DETs by
conducting optimization within the subspace. In experiments, we find that, for
a certain DET, conducting optimization simply in the subspace could achieve
comparable performance to its original space, and the found solution in the
subspace could be transferred to another DET and achieve non-trivial
performance. We also visualize the performance landscape of the subspace and
find that there exists a substantial region where different DETs all perform
well. Finally, we extend our analysis and show the strong connections between
fine-tuning and DETs.
- Abstract(参考訳): デルタチューニング(det、パラメータ効率チューニングとも呼ばれる)は、事前学習言語モデル(plm)を使用するための新しいパラダイムと考えられている。
今まで、異なる設計要素を持つ様々なDETが提案されており、微調整と同等のパフォーマンスを実現している。
しかし、上記の成功の背景にあるメカニズムはまだ未定であり、特に様々なdet間の接続は未熟である。
謎を解くために、異なるDETの適応は、それぞれ異なるDETの独立解を共同分解することによって発見できる統一された最適化部分空間において、低次元の最適化として再パラメータ化できるという仮説を立てた。
次に、サブ空間内で最適化を行うことにより、異なるDET間の接続を探索する。
実験では、あるdetに対して、単純に部分空間内で最適化を行うことで、元の空間と同等の性能を達成でき、部分空間で見つかった解を別のdetに転送して非自明な性能を得ることができる。
また、サブスペースのパフォーマンスの景観を視覚化し、異なるDETがすべてうまく機能する領域があることを見出した。
最後に、分析を拡張し、微調整とDETの強いつながりを示す。
関連論文リスト
- An Adaptive Dimension Reduction Estimation Method for High-dimensional
Bayesian Optimization [6.79843988450982]
BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。
私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。
数値実験により,困難シナリオにおける本手法の有効性が検証された。
論文 参考訳(メタデータ) (2024-03-08T16:21:08Z) - Controllable Prompt Tuning For Balancing Group Distributional Robustness [59.94489781153899]
グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。
本稿では,制御可能なプロンプトチューニング(CPT)を提案する。
突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
論文 参考訳(メタデータ) (2024-03-05T06:23:55Z) - Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision
Transformers [50.23439411530435]
部分微調整は、効率と精度を同時に向上できる革新的で有望な方向であることを示す。
部分的な微調整のための適切な層の選択を導くための,新しい微調整角度測定法を提案する。
広範囲のデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。
論文 参考訳(メタデータ) (2023-12-25T10:11:34Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for
Segment Anything Model [86.41316628084464]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-28T11:23:34Z) - Tree-Structured Parzen Estimator: Understanding Its Algorithm Components
and Their Roles for Better Empirical Performance [1.370633147306388]
木構造型Parzen estimator (TPE) は最近のパラメータチューニングフレームワークで広く利用されている。
その人気にもかかわらず、制御パラメーターとアルゴリズム直観の役割は今のところ議論されていない。
論文 参考訳(メタデータ) (2023-04-21T17:02:38Z) - Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for
Pre-trained Language Models [90.24999406296867]
標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。
近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
論文 参考訳(メタデータ) (2022-03-14T07:56:32Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳(メタデータ) (2021-06-21T00:44:11Z) - High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。
我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
論文 参考訳(メタデータ) (2020-10-21T11:24:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。