論文の概要: Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity

• arxiv url: http://arxiv.org/abs/2510.15964v1
• Date: Sun, 12 Oct 2025 04:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.727524
• Title: Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
• Title（参考訳）: 長時間露光:影空間下でのLDMのパラメータ効率向上
• Authors: Tuowei Wang, Kun Li, Zixu Hao, Donglin Bai, Ju Ren, Yaoxue Zhang, Ting Cao, Mao Yang,
• Abstract要約: Long Exposureは、大規模言語モデルのPEFTを高速化する効率的なシステムである。 ロング・エクスポージャーは、エンドツーエンドの微調整で最高2.49タイムのスピードアップで最先端の性能を発揮する。
• 参考スコア（独自算出の注目度）: 26.03955740378963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adaptation of pre-trained large language models (LLMs) to diverse downstream tasks via fine-tuning is critical for numerous applications. However, the inefficiency of parameter-efficient fine-tuning (PEFT) techniques presents significant challenges in terms of time investments and operational costs. In this paper, we first introduce a nuanced form of sparsity, termed Shadowy Sparsity, which is distinctive in fine-tuning and has not been adequately addressed for acceleration. Under Shadowy Sparsity, we propose Long Exposure, an efficient system to accelerate PEFT for LLMs. Long Exposure comprises three key components: Shadowy-sparsity Exposer employs a prolonged sensing range to capture more sparsity details under shadowy sparsity; Sequence-oriented Predictor provides efficient yet accurate predictions to handle large sequence inputs and constantly-evolving parameters; and Dynamic-aware Operator facilitates more structured computational patterns and coalesced memory accesses, addressing dynamic sparse operations. Extensive evaluations show that Long Exposure outperforms state-of-the-arts with up to a $2.49\times$ speedup in end-to-end fine-tuning, offering promising advancements in accelerating PEFT for LLMs.
• Abstract（参考訳）: 訓練済みの大規模言語モデル(LLM)の細調整による下流タスクへの適応は、多くのアプリケーションにとって非常に重要である。 しかし,パラメータ効率向上技術(PEFT)の非効率性は,時間的投資や運用コストの面で大きな課題を呈している。 本稿では、まず、微調整に特有であり、加速には適していないシャドウイ・スパシティと呼ばれるニュアンスド・スパシティについて紹介する。 そこで我々は,Long Exposureを提案する。Long Exposureは,LPMのPEFTを高速化する効率的なシステムである。 シャドウ・スパーシティ・エクスポージャーは、シャドウ・スパーシティの下でより多くのスパーシティの詳細をキャプチャするために、長いセンシング範囲を使用する。シーケンス指向の予測器は、大きなシーケンス入力と絶え間なく進化するパラメータを扱うための効率的かつ正確な予測を提供する。 大規模な評価では、Long Exposureは最先端技術よりも2.49\times$のスピードアップをエンドツーエンドの微調整で達成し、LPMのPEFTを加速させる有望な進歩を提供する。

関連論文リスト

• Dynamic Speculative Agent Planning [57.630218933994534]
  大規模な言語モデルベースのエージェントは、遅延の禁止と推論コストのために、重要なデプロイメント課題に直面している。 本稿では,オンライン強化学習フレームワークである動的投機計画(Dynamic Speculative Planning, DSP)を紹介する。 2つの標準エージェントベンチマークの実験では、DSPは高速加速法に匹敵する効率を達成し、総コストを30%削減し、不要コストを60%まで削減している。
  論文  参考訳（メタデータ） (2025-09-02T03:34:36Z)
• Activation Control for Efficiently Eliciting Long Chain-of-thought Ability of Language Models [45.938663388013445]
  本報告では,最後の数層における高影響活性化の小さなセットが,長大な推論特性を支配していることを示す。 これらのアクティベーションを増幅し、"待機"トークンを挿入することで、トレーニングなしで長いCoT機能を呼び出すことができます。
  論文  参考訳（メタデータ） (2025-05-23T10:07:18Z)
• PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention [73.26995918610669]
  大きな言語モデル(LLM)は、長いコンテキストを処理する場合の注意機構の二次的な複雑さによって、効率のボトルネックに直面します。 本稿では,効果的かつ完全なコンテキスト拡張を容易にする新しいスパークアテンション設計であるPowerAttentionを紹介する。 実験によると、PowerAttentionは既存の静的スパースアテンションメソッドを5sim 40%$で上回っている。
  論文  参考訳（メタデータ） (2025-03-05T15:24:11Z)
• Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation [15.35494431928751]
  トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて顕著なパフォーマンスを示すと同時に、現実のサービスにおいて大きな課題をもたらす。 LLMデコーディングの効率を高めるために,モデルアテンションデアグリゲーションを導入する。 分散ヘテロジニアスクラスタにモデルアテンションデアグリゲーションを組み込んだLLM推論システムであるLaminaを開発し,展開する。
  論文  参考訳（メタデータ） (2024-05-03T02:15:15Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• GrowLength: Accelerating LLMs Pretraining by Progressively Growing Training Length [65.24730341801468]
  本稿では,大規模言語モデルの事前学習プロセスを促進するために,Growlength'という,新しい,シンプルで効果的な手法を提案する。 本手法は,事前学習期間を通じてトレーニング期間を段階的に延長し,計算コストを軽減し,効率を向上する。
  論文  参考訳（メタデータ） (2023-10-01T05:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。