論文の概要: Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2403.07440v3
- Date: Sat, 30 Mar 2024 04:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 13:54:43.841119
- Title: Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning
- Title(参考訳): 行列変換に基づく低ランク適応(MTLoRA):パラメータ効率な微調整のための脳誘発手法
- Authors: Yao Liang, Yuwei Wang, Yang Li, Yi Zeng,
- Abstract要約: マトリックス変換に基づく低ランク適応(MTLoRA)は、脳の機能はその幾何学的構造によって形成されるという考えから着想を得ている。
MTLoRAは8つのタスクでパフォーマンスが約1.0%向上する。
- 参考スコア(独自算出の注目度): 11.037221461758806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning techniques based on Large Pretrained Language Models (LPLMs) have been proven to significantly enhance model performance on a variety of downstream tasks and effectively control the output behaviors of LPLMs. Recent studies have proposed numerous methods for fine-tuning a small number of parameters based on open-source LPLMs, reducing the demand for computational and storage resources. Among these, reparameterization fine-tuning methods represented by LoRA (Low-Rank Adaptation) have gained popularity. We find that although these methods perform well in many aspects, there is still considerable room for improvement in terms of complex task adaptability, performance, stability, and algorithm complexity. In response to this, inspired by the idea that the functions of the brain are shaped by its geometric structure, this paper integrates this idea into LoRA technology and proposes a new matrix transformation-based reparameterization method for efficient fine-tuning, named Matrix-Transformation based Low-Rank Adaptation (MTLoRA). MTLoRA aims to dynamically alter its spatial geometric structure by applying a transformation-matrix T to perform linear transformations, such as rotation, scaling, and translation, on the task-specific parameter matrix, generating new matrix feature patterns (eigenvectors) to mimic the fundamental influence of complex geometric structure feature patterns in the brain on functions, thereby enhancing the model's performance in downstream tasks. In Natural Language Understanding (NLU) tasks, it is evaluated using the GLUE benchmark test, and the results reveal that MTLoRA achieves an overall performance increase of about 1.0% across eight tasks; in Natural Language Generation (NLG) tasks, MTLoRA improves performance by an average of 0.95% and 0.56% in the DART and WebNLG tasks, respectively.
- Abstract(参考訳): LPLM(Large Pretrained Language Models)に基づく微調整技術は、様々な下流タスクにおけるモデル性能を著しく向上し、LPLMの出力挙動を効果的に制御できることが証明されている。
近年,オープンソースのLPLMをベースとした少数のパラメータを微調整する手法が多数提案されており,計算資源やストレージ資源の需要が減少している。
このうち、LoRA(Low-Rank Adaptation)で表される再パラメータ化細調整法が人気を博している。
これらの手法は多くの面でうまく機能するが、複雑なタスク適応性、性能、安定性、アルゴリズムの複雑さの観点からも、改善の余地は十分にある。
これに対し、脳の機能は幾何学的構造によって形成されるという考えに触発されて、このアイデアをLoRA技術に統合し、マトリックス変換に基づく効率的な微調整のための新しい行列変換に基づくパラメータ化手法であるMTLoRAを提案する。
MTLoRAは、変換行列Tを用いて、タスク固有のパラメータ行列上に回転、スケーリング、翻訳などの線形変換を行い、新しい行列特徴パターン(固有ベクトル)を生成し、脳内の複雑な幾何学的構造の特徴パターンが機能に与える影響を模倣し、下流タスクにおけるモデルの性能を向上させることで、その空間幾何学的構造を動的に変化させることを目的としている。
自然言語理解(NLU)タスクでは,GLUEベンチマークテストを用いて評価し,その結果から,MTLoRAは8タスクで約1.0%,自然言語生成(NLG)タスクでは平均0.95%,WebNLGタスクでは0.56%,それぞれパフォーマンス改善を実現していることがわかった。
関連論文リスト
- MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。
パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。
本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
論文 参考訳(メタデータ) (2024-03-29T17:43:58Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - Use Your INSTINCT: INSTruction optimization usIng Neural bandits Coupled
with Transformers [69.70169378788411]
大規模言語モデル (LLM) は命令追従能力に優れ、様々なアプリケーションで優れた性能を発揮している。
最近の研究は、ブラックボックスLLMに与えられる命令を自動的に最適化するために、クエリ効率のよいベイズ最適化(BO)アルゴリズムを用いている。
NNサロゲートによりBOのGPを置換し,ブラックボックスLLMの命令を最適化するニューラルバンディットアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-02T02:01:16Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T14:28:26Z) - Generalized Low-Rank Update: Model Parameter Bounds for Low-Rank
Training Data Modifications [16.822770693792823]
少数のインスタンスや機能が加えられたり削除されたりした場合に最適なモデルが得られるインクリメンタル機械学習(ML)手法を開発した。
この問題は、クロスバリデーション(CV)や特徴選択といったモデル選択において、実際に重要である。
本稿では,線形推定器の低ランク更新フレームワークを,正規化された経験的リスク最小化のクラスとして定式化したMLメソッドに拡張する一般低ランク更新(GLRU)手法を提案する。
論文 参考訳(メタデータ) (2023-06-22T05:00:11Z) - One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。
一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。
GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2023-06-13T17:59:32Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-03-18T22:36:25Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Supervised Class-pairwise NMF for Data Representation and Classification [2.7320863258816512]
非負行列分解(NMF)に基づく手法は、特定のタスクにモデルを適応させるためにコスト関数に新しい用語を追加する。
NMF法は、因子化行列を推定するための教師なしアプローチを採用する。
論文 参考訳(メタデータ) (2022-09-28T04:33:03Z) - Relational Reasoning via Set Transformers: Provable Efficiency and
Applications to MARL [154.13105285663656]
置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。
残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。
モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
論文 参考訳(メタデータ) (2022-09-20T16:42:59Z) - Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
低ランク行列近似は機械学習における中心的な概念の1つである。
低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。
重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T22:03:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。