論文の概要: Domain Expansion: Parameter-Efficient Modules as Building Blocks for Composite Domains

• arxiv url: http://arxiv.org/abs/2501.14321v1
• Date: Fri, 24 Jan 2025 08:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:56:28.218863
• Title: Domain Expansion: Parameter-Efficient Modules as Building Blocks for Composite Domains
• Title（参考訳）: ドメイン拡張:複合ドメインのためのビルディングブロックとしてのパラメータ効率の良いモジュール
• Authors: Mann Patel, Divyajyoti Panda, Hilay Mehta, Parth Patel, Dhruv Parikh,
• Abstract要約: 本稿では, 複合領域上の分布一般化のために, 個別に調整されたPEMの構成について検討する。 PEMを構成するには、個々の微調整されたPEMの重み空間上で純粋に動作する単純な構成関数を用いる。 提案手法は,Mers-Briggs Type Indicator (I)複合パーソナリティを4つのビルディングブロックを介して表現するタスクに適用する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) is an efficient alternative to full scale fine-tuning, gaining popularity recently. With pre-trained model sizes growing exponentially, PEFT can be effectively utilized to fine-tune compact modules, Parameter-Efficient Modules (PEMs), trained to be domain experts over diverse domains. In this project, we explore composing such individually fine-tuned PEMs for distribution generalization over the composite domain. To compose PEMs, simple composing functions are used that operate purely on the weight space of the individually fine-tuned PEMs, without requiring any additional fine-tuning. The proposed method is applied to the task of representing the 16 Myers-Briggs Type Indicator (MBTI) composite personalities via 4 building block dichotomies, comprising of 8 individual traits which can be merged (composed) to yield a unique personality. We evaluate the individual trait PEMs and the composed personality PEMs via an online MBTI personality quiz questionnaire, validating the efficacy of PEFT to fine-tune PEMs and merging PEMs without further fine-tuning for domain composition.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)は、フルスケールのファインチューニングに代わる効率的な代替手段であり、最近人気が高まっている。 事前訓練されたモデルサイズが指数関数的に大きくなると、PEFTは様々なドメインにまたがるドメインの専門家として訓練されたパラメータ効率モジュール(PEM)に有効に活用できる。 本稿では, 複合領域上の分布一般化のために, 個別に調整されたPEMの構成について検討する。 PEMを構成するには、個別に微調整されたPEMの重み空間上で純粋に動作する単純な構成関数を用いる。 The method applied to the task of the 16 Myers-Briggs Type Indicator (MBTI) Composite Personalities through 4 building block dichotomies, consist of 8 individual traits which can be merged to yield a unique personality。 オンラインMBTIパーソナリティクイズアンケートを用いて,個人特性PEMと合成パーソナリティPEMを評価し,さらにドメイン構成を微調整することなくPEFTの微調整PEMとマージPEMの有効性を検証した。

関連論文リスト

• Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning [41.19870454097444]
  本稿では,ネットワークの重み付けを物理的に組み合わせてモデル化する手法を提案する。 熱拡散、波動伝播、ポアソンの定常方程式の3つの基礎方程式がそれぞれ固有のモデリング特性に寄与する。 MoPPAはPEFTの精度を最大2.1%向上させる。
  論文  参考訳（メタデータ） (2024-12-03T19:00:34Z)
• PERFT: Parameter-Efficient Routed Fine-Tuning for Mixture-of-Expert Model [30.620582168350698]
  Mixture-of-Experts (MoE) は、リソース利用を改善することでトランスフォーマーをスケールするための強力なアプローチとして登場した。 PEFT(Efficient Fine-Tuning)に関する最近の研究から着想を得て,PEFTモジュールを直接MoE機構に統合するための統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-12T22:03:37Z)
• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
  大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。 下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。 本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
  論文  参考訳（メタデータ） (2024-10-29T07:55:50Z)
• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• Plug-and-Play Transformer Modules for Test-Time Adaptation [54.80435317208111]
  PLUTO: Plug-and-pLay modUlar Test-time Domain AdatiOn戦略を紹介する。 私たちは、それぞれ異なるソースドメインに特化した、大規模なモジュールセットを事前訓練します。 単一の推論コールで複数の最も関連性の高いソースドメインを利用する。
  論文  参考訳（メタデータ） (2024-01-06T00:24:50Z)
• Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting Model Hubs [136.4492678691406]
  本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。 最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。 チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T12:59:23Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)
• Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification [79.33809815035127]
  Multi-task Part-Aware Network (MPN) は歩行者画像から意味的に整列した部分レベルの特徴を抽出するように設計されている。 MPNは、トレーニング段階におけるMTL(Multi-task Learning)を介して、身体部分の不整合問題を解決する。 MPNは、最先端のアプローチをかなりのマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2020-03-18T07:10:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。