Fugu-MT 論文翻訳(概要): Low-Rank Interconnected Adaptation across Layers

論文の概要: Low-Rank Interconnected Adaptation across Layers

arxiv url: http://arxiv.org/abs/2407.09946v3
Date: Wed, 28 May 2025 19:05:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-30 18:14:07.282055
Title: Low-Rank Interconnected Adaptation across Layers
Title（参考訳）: 低ランク層間相互接続型適応
Authors: Yibo Zhong, Jinman Zhao, Yao Zhou,
Abstract要約: 層間(Lily)における低ランク相互接続型適応を提案する。この構造は、レイヤごとの冗長な$AB$ペアを排除し、同等または少ないパラメータで上位の$Delta W$を可能にする。モダリティ、アーキテクチャ、モデルサイズにわたる実験は、Lilyの優れたパフォーマンスと効率を実証している。
参考スコア（独自算出の注目度）: 7.462568595335555
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-rank adaptation (LoRA) is a widely used parameter-efficient fine-tuning (PEFT) method that learns weight updates $\Delta W = AB$ for pretrained weights $W$ through low-rank adapters $A$ and $B$. While LoRA ensures hardware efficiency, its low-rank weight updates limit adaptation performance. In this paper, we propose low-rank interconnected adaptation across layers (Lily), a novel PEFT method that introduces an interconnected framework with locally shared $A$ and globally shared $B$ experts. This structure eliminates redundant per-layer $AB$ pairs, enabling higher-rank $\Delta W$ with equal or fewer parameters. To enhance expressiveness, we use data-dependent routers to determine $A$-$B$ interconnections, preventing $B$ experts from converging to the same behavior and improving representational power across domains. Experiments across modalities, architectures, and model sizes demonstrate Lily's superior performance and efficiency. GitHub: https://github.com/yibozhong/lily
Abstract（参考訳）: 低ランク適応 (LoRA) は、広く使われているパラメータ効率の微調整(PEFT)法であり、プリトレーニングされた重量に対して$\Delta W = AB$を、低ランクアダプタを通じて$A$と$B$を学習する。 LoRAはハードウェアの効率を保証しているが、低ランクの重量更新は適応性能を制限している。本稿では,ローカルに共有された$A$とグローバルに共有された$B$の専門家による相互接続フレームワークを導入した,階層間の低ランク相互接続方式(Lily)を提案する。この構造は、レイヤごとの冗長な$AB$ペアを排除し、同等または少ないパラメータを持つ高ランクな$\Delta W$を可能にする。表現性を高めるために、データ依存ルータを使用して$A$-B$相互接続を判定し、B$専門家が同じ振る舞いに収束し、ドメイン間の表現力を改善するのを防ぐ。モダリティ、アーキテクチャ、モデルサイズにわたる実験は、Lilyの優れたパフォーマンスと効率を実証している。 GitHub: https://github.com/yibozhong/lily

関連論文リスト

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights [75.83625828306839]
textbfDrag-and-Drop LLMs (textitDnD)は、未ラベルのタスクプロンプトをLoRAの重み更新に直接マッピングすることで、タスク単位のトレーニングを廃止する。ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。
論文参考訳（メタデータ） (2025-06-19T15:38:21Z)
Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
論文参考訳（メタデータ） (2025-06-05T20:28:02Z)
WeightLoRA: Keep Only Necessary Adapters [79.89637596855]
低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
論文参考訳（メタデータ） (2025-06-03T10:33:16Z)
Efficient Ensemble for Fine-tuning Language Models on Multiple Datasets [17.79010397902909]
量子化LoRAのような既存の方法は、単一のデータセットに適応する際に効率的である。タスク毎に1つのアダプタではなく、複数の小さなアダプタのアンサンブルを提案する。我々のアプローチでは、QLoRAよりも10%高い平均テスト精度が提供され、わずか9%以上のFLOPが提供されます。
論文参考訳（メタデータ） (2025-05-28T03:27:08Z)
FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
論文参考訳（メタデータ） (2025-05-19T07:32:56Z)
MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
論文参考訳（メタデータ） (2025-03-27T07:01:50Z)
S$^{2}$FT: Efficient, Scalable and Generalizable LLM Fine-tuning by Structured Sparsity [39.679861450783605]
LLMのための構造化スパースファインチューニング(S$2$FT)手法のファミリーを提案する。 S$2$FTは、"スパースと密度の高い計算を選択"することでこれを達成します。 S$2$FTはトレーニングメモリを最大3$times$まで節約し、フルFTと比較して1.5-2.7$times$のレイテンシを改善することを示す。
論文参考訳（メタデータ） (2024-12-09T08:24:11Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)
From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
論文参考訳（メタデータ） (2024-07-15T21:05:20Z)
Introducing Routing Functions to Vision-Language Parameter-Efficient Fine-Tuning with Low-Rank Bottlenecks [54.31708859631821]
低ランクボトルネックにおける視覚言語(VL)アライメントを高めるために,ルーティング関数と呼ばれる操作群を提案する。様々なVL PEFT設定において、ルーティング機能は元のPEFT法の性能を大幅に改善する。
論文参考訳（メタデータ） (2024-03-14T13:27:42Z)
Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
論文参考訳（メタデータ） (2024-02-26T18:59:12Z)
Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
論文参考訳（メタデータ） (2024-02-05T18:50:39Z)
LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
論文参考訳（メタデータ） (2024-02-02T13:00:38Z)
ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
論文参考訳（メタデータ） (2023-10-04T17:34:00Z)
Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
論文参考訳（メタデータ） (2022-11-07T19:35:55Z)
A Lightweight and Gradient-Stable Neural Layer [3.8263760833282148]
世帯重み付けと絶対値活性化に基づく神経層アーキテクチャを提案する。 $d$-neuronsと$d$の出力を持つ完全連結層と比較して、Han層はパラメータの数とそれに対応する計算複雑性を減らす。
論文参考訳（メタデータ） (2021-06-08T04:05:30Z)
Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。