論文の概要: FISH-Tuning: Enhancing PEFT Methods with Fisher Information

• arxiv url: http://arxiv.org/abs/2504.04050v1
• Date: Sat, 05 Apr 2025 04:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:12:48.832247
• Title: FISH-Tuning: Enhancing PEFT Methods with Fisher Information
• Title（参考訳）: FISH-Tuning:漁業情報によるPEFT手法の強化
• Authors: Kang Xue, Ming Dong, Xinhui Tu, Tingting He,
• Abstract要約: FISH-Tuningは、FISH MaskをLoRA、Adapters、およびそれらの変種を含む追加ベースのPEFTメソッドに組み込む新しいアプローチである。 Fisher情報を活用することで、FISH-Tuningは、メモリオーバーヘッドや推論レイテンシを増すことなく、優れたパフォーマンスを実現する。 各種データセットおよび事前学習モデルによる実験結果から、FISH-Tuningは、トレーニング可能なパラメータの同じ割合で、バニラPEFT法よりも一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 3.9274736061387854
• License:
• Abstract: The rapid growth in the parameter size of Large Language Models (LLMs) has led to the development of Parameter-Efficient Fine-Tuning (PEFT) methods to alleviate the computational costs of fine-tuning. Among these, Fisher Induced Sparse uncHanging (FISH) Mask is a selection-based PEFT technique that identifies a subset of pre-trained parameters for fine-tuning based on approximate Fisher information. However, the integration of FISH Mask with other PEFT methods, such as LoRA and Adapters, remains underexplored. In this paper, we propose FISH-Tuning, a novel approach that incorporates FISH Mask into addition-based and reparameterization-based PEFT methods, including LoRA, Adapters, and their variants. By leveraging Fisher information to select critical parameters within these methods, FISH-Tuning achieves superior performance without additional memory overhead or inference latency. Experimental results across various datasets and pre-trained models demonstrate that FISH-Tuning consistently outperforms the vanilla PEFT methods with the same proportion of trainable parameters.
• Abstract（参考訳）: LLM(Large Language Models)のパラメータサイズの急激な増加により、パラメータ効率の良い微調整法(PEFT)が開発され、微調整の計算コストが軽減された。 これらのうち、Fisher induced Sparse uncHanging (FISH) Maskは選択に基づくPEFT技術であり、近似的なFisher情報に基づいて、微調整のための事前訓練されたパラメータのサブセットを特定する。 しかし、FISH Mask と LoRA や Adapters といった他のPEFT メソッドとの統合については、まだ未検討である。 本稿では,FISHマスクを付加型および再パラメータ化に基づくPEFT手法に組み込んだ新しいアプローチであるFISH-Tuningを提案する。 Fisher情報を活用することで、FISH-Tuningは、メモリオーバーヘッドや推論レイテンシを増すことなく、優れたパフォーマンスを実現する。 各種データセットおよび事前学習モデルによる実験結果から、FISH-Tuningは、トレーニング可能なパラメータの同じ割合で、バニラPEFT法よりも一貫して優れていることが示された。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information [2.762397703396293]
  FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。 実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T18:10:46Z)
• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
  大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。 下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。 本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
  論文  参考訳（メタデータ） (2024-10-29T07:55:50Z)
• GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
  我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。 本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-27T14:41:14Z)
• Advancing Parameter Efficiency in Fine-tuning via Representation Editing [41.81020951061438]
  我々はRepresentation EDiting (RED)というニューラルモデルのための新しい微調整手法を提案する。 REDは、スケーリングとバイアス処理の適用を通じて、いくつかのレイヤで生成された表現を修正します。 注目すべきは、REDは完全なパラメータの微調整と他のPEFT手法に匹敵する、あるいは優れている結果を達成することである。
  論文  参考訳（メタデータ） (2024-02-23T08:21:02Z)
• Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
  本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。 パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
  論文  参考訳（メタデータ） (2023-12-19T13:31:24Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs [1.867982979635437]
  各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。 一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。 さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
  論文  参考訳（メタデータ） (2023-04-28T17:39:49Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
  本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。 提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-10-03T09:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。