論文の概要: Different Tunes Played with Equal Skill: Exploring a Unified Optimization Subspace for Delta Tuning

• arxiv url: http://arxiv.org/abs/2210.13311v1
• Date: Mon, 24 Oct 2022 14:57:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:46:52.996199
• Title: Different Tunes Played with Equal Skill: Exploring a Unified Optimization Subspace for Delta Tuning
• Title（参考訳）: 平等スキルを備えた異なるチューン - デルタチューニングのための統一最適化サブスペースの探索
• Authors: Jing Yi, Weize Chen, Yujia Qin, Yankai Lin, Ning Ding, Xu Han, Zhiyuan Liu, Maosong Sun, Jie Zhou
• Abstract要約: デルタチューニング(DET)は、事前学習言語モデル(PLM)を使用するための新しいパラダイムであると考えられている。 これまでのところ、異なる設計要素を持つ様々なDETが提案されており、微調整と同等のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 95.72622659619445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Delta tuning (DET, also known as parameter-efficient tuning) is deemed as the new paradigm for using pre-trained language models (PLMs). Up to now, various DETs with distinct design elements have been proposed, achieving performance on par with fine-tuning. However, the mechanisms behind the above success are still under-explored, especially the connections among various DETs. To fathom the mystery, we hypothesize that the adaptations of different DETs could all be reparameterized as low-dimensional optimizations in a unified optimization subspace, which could be found by jointly decomposing independent solutions of different DETs. Then we explore the connections among different DETs by conducting optimization within the subspace. In experiments, we find that, for a certain DET, conducting optimization simply in the subspace could achieve comparable performance to its original space, and the found solution in the subspace could be transferred to another DET and achieve non-trivial performance. We also visualize the performance landscape of the subspace and find that there exists a substantial region where different DETs all perform well. Finally, we extend our analysis and show the strong connections between fine-tuning and DETs.
• Abstract（参考訳）: デルタチューニング(det、パラメータ効率チューニングとも呼ばれる)は、事前学習言語モデル(plm)を使用するための新しいパラダイムと考えられている。 今まで、異なる設計要素を持つ様々なDETが提案されており、微調整と同等のパフォーマンスを実現している。 しかし、上記の成功の背景にあるメカニズムはまだ未定であり、特に様々なdet間の接続は未熟である。 謎を解くために、異なるDETの適応は、それぞれ異なるDETの独立解を共同分解することによって発見できる統一された最適化部分空間において、低次元の最適化として再パラメータ化できるという仮説を立てた。 次に、サブ空間内で最適化を行うことにより、異なるDET間の接続を探索する。 実験では、あるdetに対して、単純に部分空間内で最適化を行うことで、元の空間と同等の性能を達成でき、部分空間で見つかった解を別のdetに転送して非自明な性能を得ることができる。 また、サブスペースのパフォーマンスの景観を視覚化し、異なるDETがすべてうまく機能する領域があることを見出した。 最後に、分析を拡張し、微調整とDETの強いつながりを示す。

関連論文リスト

• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• Submodular Framework for Structured-Sparse Optimal Transport [7.030105924295838]
  非平衡最適輸送(UOT)は、非正規化対策の柔軟な枠組みとロバスト性により、近年注目を集めている。 本研究では,UOT設定における疎輸送計画の学習(構造化)について検討する。 本稿では,最近検討された平均誤差に基づく UOT を用いた新しい空間制約付き UOT の定式化を提案する。
  論文  参考訳（メタデータ） (2024-06-07T13:11:04Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers [50.23439411530435]
  部分微調整は、効率と精度を同時に向上できる革新的で有望な方向であることを示す。 部分的な微調整のための適切な層の選択を導くための,新しい微調整角度測定法を提案する。 広範囲のデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。
  論文  参考訳（メタデータ） (2023-12-25T10:11:34Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
  本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。 我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
  論文  参考訳（メタデータ） (2020-10-21T11:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。