論文の概要: Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity

• arxiv url: http://arxiv.org/abs/2602.09169v1
• Date: Mon, 09 Feb 2026 20:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.236005
• Title: Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity
• Title（参考訳）: 電車の低速化, より高速化: 構造空間による効率的なモデルファインタニングと圧縮
• Authors: Jonathan Svirsky, Yehonathan Refael, Ofir Lindenbaum,
• Abstract要約: 数十億のパラメータを持つ基礎言語モデル(LM)は、高い計算コスト、メモリ要求、過度に適合するリスクのために、しばしば実用的ではない。 トレーニングゲートを用いたスパシフィケーションによる効果的なファインタニング手法を提案する。 実験結果から、最近の微調整ベースラインの効率と性能に優れることが示された。
• 参考スコア（独自算出の注目度）: 21.090365337326414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fully finetuning foundation language models (LMs) with billions of parameters is often impractical due to high computational costs, memory requirements, and the risk of overfitting. Although methods like low-rank adapters help address these challenges by adding small trainable modules to the frozen LM, they also increase memory usage and do not reduce inference latency. We uncover an intriguing phenomenon: sparsifying specific model rows and columns enables efficient task adaptation without requiring weight tuning. We propose a scheme for effective finetuning via sparsification using training stochastic gates, which requires minimal trainable parameters, reduces inference time, and removes 20--40\% of model parameters without significant accuracy loss. Empirical results show it outperforms recent finetuning baselines in efficiency and performance. Additionally, we provide theoretical guarantees for the convergence of this stochastic gating process, and show that our method admits a simpler and better-conditioned optimization landscape compared to LoRA. Our results highlight sparsity as a compelling mechanism for task-specific adaptation in LMs.
• Abstract（参考訳）: 数十億のパラメータを持つ完全な微調整基礎言語モデル(LM)は、高い計算コスト、メモリ要求、過度に適合するリスクのために、しばしば実用的ではない。 低ランクアダプタのような手法は、凍ったLMに小さなトレーニング可能なモジュールを追加することでこれらの課題に対処するのに役立つが、メモリ使用量も増加し、推論遅延を低減しない。 特定のモデル行と列をスペーシングすることで、重み付けを必要とせずに効率的なタスク適応が可能になる。 トレーニング用確率ゲートを用いて,トレーニング用パラメータの最小化,推論時間削減,20～40倍のモデルパラメータの除去を行う。 実験結果から,最近の微調整ベースラインの効率と性能に優れることが示された。 さらに、この確率的ゲーティング過程の収束に関する理論的保証を提供し、この手法がLoRAに比べてシンプルで条件の整った最適化のランドスケープを許容していることを示す。 本研究の結果は,LMにおけるタスク固有適応のための説得力のあるメカニズムとして,空間性を強調した。

関連論文リスト

• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Propulsion: Steering LLM with Tiny Fine-Tuning [0.0]
  本稿では,タスク固有性能を最適化するために,新しいパラメータ最適化手法であるPropulsionを提案する。 物理運動の制御調整の概念にインスパイアされた推進は、事前訓練されたモデルの特定の次元を選択的に再スケールする。 我々の理論解析はニューラル・タンジェント・カーネル(NTK)理論によって支えられ、推進は訓練可能なパラメータがはるかに少ない完全な微調整の性能を近似することを示している。
  論文  参考訳（メタデータ） (2024-09-17T06:51:59Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
  モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。 テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-02-18T01:20:00Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。