Fugu-MT 論文翻訳(概要): FISH-Tuning: Enhancing PEFT Methods with Fisher Information

論文の概要: FISH-Tuning: Enhancing PEFT Methods with Fisher Information

arxiv url: http://arxiv.org/abs/2504.04050v3
Date: Sun, 25 May 2025 14:11:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-27 14:32:54.055041
Title: FISH-Tuning: Enhancing PEFT Methods with Fisher Information
Title（参考訳）: FISH-Tuning:漁業情報によるPEFT手法の強化
Authors: Kang Xue, Ming Dong, Xinhui Tu, Tingting He,
Abstract要約: FISH Maskは選択に基づくPEFT手法であり、近似フィッシャー情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。 FISH MaskをLoRA,Adapter,およびそれらの変種を含むPEFT手法に組み込む新しいアプローチである textbfFISH-Tuning を提案する。
参考スコア（独自算出の注目度）: 3.9274736061387854
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rapid growth in the parameter size of Large Language Models (LLMs) has spurred the development of Parameter-Efficient Fine-Tuning (PEFT) methods to mitigate the substantial computational costs of fine-tuning. Among these, Fisher Induced Sparse uncHanging (FISH) Mask is a selection-based PEFT technique that identifies a critical subset of pre-trained parameters using approximate Fisher information. While addition-based and reparameterization-based PEFT methods like LoRA and Adapter already fine-tune only a small number of parameters, the newly introduced parameters within these methods themselves present an opportunity for further optimization. Selectively fine-tuning only the most impactful among these new parameters could further reduce resource consumption while maintaining, or even improving, fine-tuning effectiveness. In this paper, we propose \textbf{FISH-Tuning}, a novel approach that incorporates FISH Mask into such PEFT methods, including LoRA, Adapter, and their variants. By leveraging Fisher information to identify and update only the most significant parameters within these added or reparameterized components, FISH-Tuning aims to achieve superior performance without increasing training time or inference latency compared to the vanilla PEFT methods. Experimental results across various datasets and pre-trained models demonstrate that FISH-Tuning consistently outperforms the vanilla PEFT methods when using the same proportion of trainable parameters. Code is available at https://anonymous.4open.science/r/FISH-Tuning-6F7C.
Abstract（参考訳）: LLM(Large Language Models)のパラメータサイズが急速に増加し、パラメータ効率の良いファインチューニング(PEFT)法が開発され、ファインチューニングの計算コストが大幅に削減された。これらのうち、Fisher induced Sparse uncHanging (FISH) Maskは選択に基づくPEFT技術であり、近似的なFisher情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。 LoRAやAdapterのような付加型および再パラメータ化に基づくPEFT法はすでに少数のパラメータのみを微調整しているが、新たに導入されたパラメータ自体がさらなる最適化の機会となる。これらの新しいパラメータのうち最も影響の大きいパラメータのみを選択的に微調整することで、資源消費をさらに減らし、細調整の有効性を維持または改善することができる。本稿では, FISH Mask を LoRA や Adapter などのPEFT に組み込んだ新しい手法である \textbf{FISH-Tuning} を提案する。 Fisher情報を活用して、これら追加または再パラメータ化コンポーネント内の最も重要なパラメータのみを識別および更新することにより、FISH-Tuningは、バニラPEFTメソッドと比較してトレーニング時間や推論遅延を増大させることなく、優れたパフォーマンスを実現することを目指している。各種データセットおよび事前学習モデルによる実験結果から、FISH-Tuningはトレーニング可能なパラメータの同じ比率を使用する場合、バニラPEFT法よりも一貫して優れることが示された。コードはhttps://anonymous.4open.science/r/FISH-Tuning-6F7Cで公開されている。

関連論文リスト

ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information [2.762397703396293]
FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-11-08T18:10:46Z)
Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
論文参考訳（メタデータ） (2024-10-29T07:55:50Z)
HUT: A More Computation Efficient Fine-Tuning Method With Hadamard Updated Transformation [6.954348219088321]
下流タスクのための微調整済み言語モデルが、NLPで素晴らしい成果を上げている。モデルパラメータが急速に大きくなるため、微調整された全てのパラメータは実用的ではない。本稿では,元のパラメータから更新パラメータへの変換を直接構成する,直接更新変換(UT)パラダイムを提案する。
論文参考訳（メタデータ） (2024-09-20T13:42:17Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
論文参考訳（メタデータ） (2024-08-27T14:41:14Z)
Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
論文参考訳（メタデータ） (2024-08-26T17:58:53Z)
ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文参考訳（メタデータ） (2024-05-30T17:26:02Z)
Advancing Parameter Efficiency in Fine-tuning via Representation Editing [41.81020951061438]
我々はRepresentation EDiting (RED)というニューラルモデルのための新しい微調整手法を提案する。 REDは、スケーリングとバイアス処理の適用を通じて、いくつかのレイヤで生成された表現を修正します。注目すべきは、REDは完全なパラメータの微調整と他のPEFT手法に匹敵する、あるいは優れている結果を達成することである。
論文参考訳（メタデータ） (2024-02-23T08:21:02Z)
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文参考訳（メタデータ） (2023-12-19T13:31:24Z)
Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法小型PLMでは、PET法には通常顕著な性能差がある。本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
論文参考訳（メタデータ） (2023-06-04T10:10:54Z)
LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文参考訳（メタデータ） (2023-05-28T15:15:48Z)
Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文参考訳（メタデータ） (2023-05-26T08:44:42Z)
Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs [1.867982979635437]
各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
論文参考訳（メタデータ） (2023-04-28T17:39:49Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)
Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文参考訳（メタデータ） (2023-03-15T12:34:24Z)
Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文参考訳（メタデータ） (2022-10-17T08:14:49Z)
Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
論文参考訳（メタデータ） (2022-10-03T09:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。