論文の概要: FineGates: LLMs Finetuning with Compression using Stochastic Gates

• arxiv url: http://arxiv.org/abs/2412.12951v1
• Date: Tue, 17 Dec 2024 14:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:48.059851
• Title: FineGates: LLMs Finetuning with Compression using Stochastic Gates
• Title（参考訳）: ファインゲート:確率ゲートを用いた圧縮加工LLM
• Authors: Jonathan Svirsky, Yehonathan Refael, Ofir Lindenbaum,
• Abstract要約: 大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
• 参考スコア（独自算出の注目度）: 7.093692674858257
• License:
• Abstract: Large Language Models (LLMs), with billions of parameters, present significant challenges for full finetuning due to the high computational demands, memory requirements, and impracticality of many real-world applications. When faced with limited computational resources or small datasets, updating all model parameters can often result in overfitting. To address this, lightweight finetuning techniques have been proposed, like learning low-rank adapter layers. These methods aim to train only a few additional parameters combined with the base model, which remains frozen, reducing resource usage and mitigating overfitting risks. In this work, we propose an adaptor model based on stochastic gates that simultaneously sparsify the frozen base model with task-specific adaptation. Our method comes with a small number of trainable parameters and allows us to speed up the base model inference with competitive accuracy. We evaluate it in additional variants by equipping it with additional low-rank parameters and comparing it to several recent baselines. Our results show that the proposed method improves the finetuned model accuracy comparatively to the several baselines and allows the removal of up to 20-40\% without significant accuracy loss.
• Abstract（参考訳）: 数十億のパラメータを持つ大規模言語モデル(LLM)は、多くの実世界のアプリケーションの高い計算要求、メモリ要求、非現実性のために、完全な微調整のための重大な課題を提示する。 限られた計算リソースや小さなデータセットに直面した場合、すべてのモデルパラメータを更新すると過度に適合することがある。 これを解決するために、低ランクのアダプタ層を学習するなど、軽量な微調整技術が提案されている。 これらの手法は、基本モデルと組み合わさったいくつかのパラメータのみをトレーニングすることを目的としており、これは凍結状態のままであり、リソース使用量を減らし、過度に適合するリスクを軽減している。 本研究では,凍結ベースモデルとタスク固有適応を同時に分散する確率ゲートに基づく適応モデルを提案する。 提案手法は,少数のトレーニング可能なパラメータを伴い,競争精度でベースモデル推論を高速化する。 追加の低ランクパラメータを装備し、最近のいくつかのベースラインと比較することにより、追加の変種で評価する。 提案手法は,複数のベースラインに比較して微調整されたモデル精度を向上し,最大20～40倍の精度で除去できることを示す。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Hyper Compressed Fine-Tuning of Large Foundation Models with Quantum Inspired Adapters [0.0]
  emphQuantum-Inspired Adaptersは、量子機械学習文学のハミング級量子回路にインスパイアされたPEFTアプローチである。 提案するアダプタは,ベンチマークデータセットに大規模言語モデルと大規模視覚変換器を適用して検証する。
  論文  参考訳（メタデータ） (2025-02-10T13:06:56Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Propulsion: Steering LLM with Tiny Fine-Tuning [0.0]
  本稿では,タスク固有性能を最適化するために,新しいパラメータ最適化手法であるPropulsionを提案する。 物理運動の制御調整の概念にインスパイアされた推進は、事前訓練されたモデルの特定の次元を選択的に再スケールする。 我々の理論解析はニューラル・タンジェント・カーネル(NTK)理論によって支えられ、推進は訓練可能なパラメータがはるかに少ない完全な微調整の性能を近似することを示している。
  論文  参考訳（メタデータ） (2024-09-17T06:51:59Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• PELA: Learning Parameter-Efficient Models with Low-Rank Approximation [16.9278983497498]
  そこで本研究では,中間学習段階を導入することにより,事前学習モデルのパラメータ効率を向上させる手法を提案する。 これにより、下流の微調整タスクにローランクモデルの直接的かつ効率的な利用が可能になる。
  論文  参考訳（メタデータ） (2023-10-16T07:17:33Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
  適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。 モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。 本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
  論文  参考訳（メタデータ） (2022-10-23T02:06:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。