Fugu-MT 論文翻訳(概要): Spectrum: Targeted Training on Signal to Noise Ratio

論文の概要: Spectrum: Targeted Training on Signal to Noise Ratio

arxiv url: http://arxiv.org/abs/2406.06623v1
Date: Fri, 7 Jun 2024 21:20:57 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 20:54:41.210642
Title: Spectrum: Targeted Training on Signal to Noise Ratio
Title（参考訳）: スペクトル:信号と雑音の比に関する目標訓練
Authors: Eric Hartford, Lucas Atkins, Fernando Fernandes Neto, David Golchinfar,
Abstract要約: 本稿では,SNR(Signal-to-Noise ratio)に基づいた層モジュールを選択的に標的としたLCM学習を高速化するSpectrumを提案する。トレーニング前のモジュールSNRの計算にアルゴリズムを用いる本手法では,GPUメモリ使用量を削減するとともに,フル微調整の性能を効果的に向上することを示した。
参考スコア（独自算出の注目度）: 39.74810517186403
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Efficiently post-training large language models remains a challenging task due to the vast computational resources required. We present Spectrum, a method that accelerates LLM training by selectively targeting layer modules based on their signal-to-noise ratio (SNR), and freezing the remaining modules. Our approach, which utilizes an algorithm to compute module SNRs prior to training, has shown to effectively match the performance of full fine-tuning while reducing GPU memory usage. Experiments comparing Spectrum to existing methods such as QLoRA demonstrate its effectiveness in terms of model quality and VRAM efficiency in distributed environments.
Abstract（参考訳）: 大規模言語モデルの効率的な訓練は、膨大な計算資源を必要とするため、依然として難しい課題である。本稿では、SNR(Signal-to-Noise ratio)に基づいて層モジュールを選択的にターゲットし、残りのモジュールを凍結することにより、LCMトレーニングを高速化する手法であるSpectrumを提案する。トレーニング前のモジュールSNRの計算にアルゴリズムを用いる本手法では,GPUメモリ使用量を削減するとともに,フル微調整の性能を効果的に向上することを示した。 QLoRAのような既存の手法とSpectrumを比較した実験は、分散環境でのモデル品質とVRAM効率の観点から、その効果を実証している。

関連論文リスト

Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
論文参考訳（メタデータ） (2024-06-16T09:51:55Z)
Adaptive Layer Splitting for Wireless LLM Inference in Edge Computing: A Model-Based Reinforcement Learning Approach [18.153641696306707]
本研究では、モデルベース強化学習(MBRL)からインスピレーションを得て、エッジとユーザ機器(UE)間の最適分割点を決定するフレームワークを提案する。報酬代理モデルを導入することで、頻繁な性能評価の計算コストを大幅に削減できる。
論文参考訳（メタデータ） (2024-06-03T09:41:42Z)
Convergence Rate Maximization for Split Learning-based Control of EMG Prosthetic Devices [2.432653781859026]
Split Learning (SL) は筋電図に基づく補綴制御における有望な分散学習手法である。本稿では,モデル収束率の最大化の観点から,最適カット層選択のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-06T15:05:49Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文参考訳（メタデータ） (2023-07-07T15:03:42Z)
Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文参考訳（メタデータ） (2022-10-10T19:50:37Z)
Approximating the Ideal Observer for joint signal detection and localization tasks by use of supervised learning methods [15.226790614827193]
画像品質(IQ)の客観的指標を用いて、医用画像システムの評価と最適化が一般的である理想オブザーバ(IO)のパフォーマンスは、画像システムの評価と最適化に使用するためのメリットの図式を提供することが提唱されている。本稿では,共同信号検出および局所化タスクにおいて,IOを近似する教師あり学習手法を提案する。
論文参考訳（メタデータ） (2020-05-29T22:53:45Z)
Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文参考訳（メタデータ） (2020-05-25T01:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。