Fugu-MT 論文翻訳(概要): Shears: Unstructured Sparsity with Neural Low-rank Adapter Search

論文の概要: Shears: Unstructured Sparsity with Neural Low-rank Adapter Search

arxiv url: http://arxiv.org/abs/2404.10934v1
Date: Tue, 16 Apr 2024 22:12:36 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 17:42:39.982373
Title: Shears: Unstructured Sparsity with Neural Low-rank Adapter Search
Title（参考訳）: Shears: ニューラルネットワークによる低ランクアダプタサーチによる非構造的疎結合性
Authors: J. Pablo Muñoz, Jinjie Yuan, Nilesh Jain,
Abstract要約: 提案手法は,コスト効率の高いスパンシティとニューラルローランクアダプタサーチ(NLS)アルゴリズムの統合により,PEFTアプローチの効率をさらに向上することを示す。結果は、他の方法と比較して、シアスの利点を示し、高いスパーシレベルに達しながら、精度を向上またはほとんど低下せず、1つのGPUを2時間使用した。
参考スコア（独自算出の注目度）: 1.8434042562191815
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Recently, several approaches successfully demonstrated that weight-sharing Neural Architecture Search (NAS) can effectively explore a search space of elastic low-rank adapters (LoRA), allowing the parameter-efficient fine-tuning (PEFT) and compression of large language models. In this paper, we introduce a novel approach called Shears, demonstrating how the integration of cost-effective sparsity and a proposed Neural Low-rank adapter Search (NLS) algorithm can further improve the efficiency of PEFT approaches. Results demonstrate the benefits of Shears compared to other methods, reaching high sparsity levels while improving or with little drop in accuracy, utilizing a single GPU for a pair of hours.
Abstract（参考訳）: 近年,重み付きニューラルネットワークサーチ (NAS) が弾性低ランクアダプタ (LoRA) の探索空間を効果的に探索し,パラメータ効率のよい微調整 (PEFT) と大言語モデルの圧縮を可能にした。本稿では,コスト効率のよいスペーサ性とニューラルローランクアダプタ探索(NLS)アルゴリズムの併用により,PEFT手法の効率が向上することを示す,Shearsと呼ばれる新しい手法を提案する。結果は、他の方法と比較して、シアスの利点を示し、高いスパーシレベルに達しながら、精度を向上またはほとんど低下せず、1つのGPUを2時間使用した。

関連論文リスト

Low-Rank Adapters Meet Neural Architecture Search for LLM Compression [1.8434042562191815]
LLM(Large Language Models)の急速な拡張は、微調整と展開に必要な計算資源に関して重大な課題を提起している。低ランクアダプタの最近の進歩は、これらのモデルのパラメータ効率のよい微調整(PEFT)において有効であることを示した。本稿では,低ランク表現をニューラルアーキテクチャサーチ(NAS)技術と相乗化するための革新的なアプローチを包括的に論じる。
論文参考訳（メタデータ） (2025-01-23T02:14:08Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
GeoLoRA: Geometric integration for parameter efficient fine-tuning [6.701651480567394]
Low-Rank Adaptation (LoRA) は、事前学習されたニューラルネットワークのパラメータ効率の高い微調整法として広く使われている。動的低ランク近似理論を応用した新しいアプローチであるGeoLoRAを導入する。その結果,GeoLoRAの精度と計算効率の両面において既存手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-24T13:26:10Z)
Search for Efficient Large Language Models [52.98684997131108]
大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
論文参考訳（メタデータ） (2024-09-25T21:32:12Z)
Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文参考訳（メタデータ） (2024-05-09T01:40:38Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
Boosting the Efficiency of Parametric Detection with Hierarchical Neural Networks [4.1410005218338695]
高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。 2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
論文参考訳（メタデータ） (2022-07-23T19:23:00Z)
Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文参考訳（メタデータ） (2022-03-23T06:24:31Z)
Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文参考訳（メタデータ） (2021-10-01T10:03:57Z)
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
論文参考訳（メタデータ） (2020-07-07T00:57:09Z)
DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。