Fugu-MT 論文翻訳(概要): FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts

論文の概要: FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts

arxiv url: http://arxiv.org/abs/2506.00495v1
Date: Sat, 31 May 2025 10:27:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:33.104404
Title: FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
Title（参考訳）: FLoE:低ランク専門家の効率的なスパース適応のための漁獲型層選択
Authors: Xinyi Wang, Lirong Gao, Haobo Wang, Yiming Zhang, Junbo Zhao,
Abstract要約: FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
参考スコア（独自算出の注目度）: 47.35092228595656
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods have emerged as a widely adopted strategy for adapting pre-trained Large Language Models (LLMs) to downstream tasks, significantly reducing memory and computational costs. However, most existing PEFT techniques uniformly deploy LoRA adapters across all layers, disregarding the intrinsic heterogeneity of layer contributions and task-specific rank requirements. This uniform paradigm leads to redundant parameter allocation and suboptimal adaptation efficiency. To address these limitations, we propose FLoE, a novel PEFT framework that introduces two key innovations: (i) a Fisher information-guided importance scoring mechanism to dynamically identify task-critical transformer layers for MoE-based low-rank adaptation, enabling sparse adapter deployment; and (ii) a Bayesian optimization-driven rank allocator that automatically determines optimal LoRA ranks on specific datasets without exhaustive grid search. Extensive experiments across diverse LLMs and benchmarks reveal that FLoE achieves impressive efficiency-accuracy trade-offs, making FLoE particularly advantageous in resource-constrained environments that necessitate rapid adaptation.
Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)手法は、学習済みの大規模言語モデル(LLM)を下流のタスクに適用し、メモリと計算コストを大幅に削減する手法として広く採用されている。しかし、既存のPEFT技術のほとんどは、すべての層にLoRAアダプタを均一に配置し、層への貢献とタスク固有のランク要件の固有の不均一性を無視している。この一様パラダイムは、冗長なパラメータ割り当てと準最適適応効率をもたらす。これらの制限に対処するため、我々はFLoEという新しいPEFTフレームワークを提案している。一タスククリティカルトランスフォーマー層を動的に識別し、低ランク化を図り、スパースアダプタ配置を可能にするフィッシャー情報誘導重要スコアリング機構 (II) 網羅的なグリッド探索を行わずに特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化型ランクアロケータ。多様なLCMとベンチマークにわたる大規模な実験により、FLoEは顕著な効率精度のトレードオフを達成し、FLoEは特に急速な適応を必要とする資源制約のある環境において有利であることが明らかとなった。

関連論文リスト

TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models [0.135975510645475]
TLoRAはトリマトリクスの低ランク適応法である。我々は,TLoRAが既存の低ランク手法に匹敵する性能を発揮することを示す。
論文参考訳（メタデータ） (2025-04-25T23:11:10Z)
PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
論文参考訳（メタデータ） (2025-04-22T16:41:21Z)
MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
論文参考訳（メタデータ） (2025-03-27T07:01:50Z)
DiffoRA: Enabling Parameter-Efficient LLM Fine-Tuning via Differential Low-Rank Matrix Adaptation [32.369133126167085]
そこで我々は,理論上基礎を成し,モジュールワイドなLoRAを実現する,DiffoRAと呼ばれる新しいPEFT方式を提案する。 DiffoRAの中核には微分適応行列(DAM)があり、どのモジュールが最も適しており、微調整に不可欠かを決定する。提案手法は,様々なベンチマークにおいて,最先端のベースラインに対して最高のモデル精度を実現する。
論文参考訳（メタデータ） (2025-02-13T02:41:34Z)
Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning [5.074620301447097]
本稿では,大規模言語モデル(LLM)のための専門家のアロケーションとランク設定のための階層型スキームHILOを提案する。 HILOは、層間のアダプタエキスパートの数とランクを動的に調整し、アダプタの粒度の異なるモデルレイヤの表現複雑性に適合する。複数のベンチマークタスクの実験では、HILOが既存のメソッドよりも精度が高く、トレーニング可能なパラメータが少ないことが示されている。
論文参考訳（メタデータ） (2025-02-06T08:58:03Z)
TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [9.730075039461154]
様々な下流タスクで最適なパフォーマンスを達成するために、微調整の大規模言語モデル(LLM)が重要である。本稿では,神経科学の原理に触発された新しいPEFTフレームワークであるAdaptive Low-Rank Adaptation (TriAdaptLoRA)を提案する。様々な自然言語理解および生成タスクの実験は、TriAdaptLoRAが既存のPEFT法より一貫して優れていることを示した。
論文参考訳（メタデータ） (2025-01-14T10:51:31Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。