論文の概要: Task-Aware Parameter-Efficient Fine-Tuning of Large Pre-Trained Models at the Edge

• arxiv url: http://arxiv.org/abs/2504.03718v1
• Date: Sat, 29 Mar 2025 10:23:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 06:23:29.438892
• Title: Task-Aware Parameter-Efficient Fine-Tuning of Large Pre-Trained Models at the Edge
• Title（参考訳）: エッジにおける大規模事前学習モデルのタスク認識パラメータ-効率的な微調整
• Authors: Senkang Hu, Yanan Ma, Yihang Tao, Zhengru Fang, Zihan Fang, Yiqin Deng, Sam Kwong, Yuguang Fang,
• Abstract要約: TaskEdgeは、エッジにあるタスク対応のパラメータ効率の良い微調整フレームワークである。 ターゲットタスクに最も効果的なパラメータを割り当て、タスク固有のパラメータだけを更新する。 そうすることで、TaskEdgeは計算コストとメモリ使用量を大幅に削減できます。
• 参考スコア（独自算出の注目度）: 43.2949682492473
• License:
• Abstract: Large language models (LLMs) have achieved remarkable success in various tasks, such as decision-making, reasoning, and question answering. They have been widely used in edge devices. However, fine-tuning LLMs to specific tasks at the edge is challenging due to the high computational cost and the limited storage and energy resources at the edge. To address this issue, we propose TaskEdge, a task-aware parameter-efficient fine-tuning framework at the edge, which allocates the most effective parameters to the target task and only updates the task-specific parameters. Specifically, we first design a parameter importance calculation criterion that incorporates both weights and input activations into the computation of weight importance. Then, we propose a model-agnostic task-specific parameter allocation algorithm to ensure that task-specific parameters are distributed evenly across the model, rather than being concentrated in specific regions. In doing so, TaskEdge can significantly reduce the computational cost and memory usage while maintaining performance on the target downstream tasks by updating less than 0.1\% of the parameters. In addition, TaskEdge can be easily integrated with structured sparsity to enable acceleration by NVIDIA's specialized sparse tensor cores, and it can be seamlessly integrated with LoRA to enable efficient sparse low-rank adaptation. Extensive experiments on various tasks demonstrate the effectiveness of TaskEdge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、意思決定、推論、質問応答といった様々なタスクで顕著な成功を収めた。 エッジデバイスで広く使用されている。 しかし、計算コストが高く、エッジの限られたストレージとエネルギー資源のため、エッジでの特定のタスクへの微調整 LLM は困難である。 この問題に対処するため、我々は、ターゲットタスクに最も効果的なパラメータを割り当て、タスク固有のパラメータのみを更新するタスク認識のパラメータ効率の高い微調整フレームワークであるTaskEdgeを提案する。 具体的には、まず重みと入力アクティベーションの両方を重みの計算に組み込んだパラメータ重要度計算基準を設計する。 そこで本研究では,タスク固有のパラメータが特定の領域に集中するのではなく,モデル全体に均等に分散されることを保証するために,モデルに依存しないタスク固有のパラメータ割り当てアルゴリズムを提案する。 そうすることで、TaskEdgeは、パラメータの0.15%未満を更新することで、ターゲットの下流タスクのパフォーマンスを維持しながら、計算コストとメモリ使用量を大幅に削減できる。 さらに、TaskEdgeは構造化されたスパーシティと簡単に統合することができ、NVIDIAの特別なスパーステンソルコアによるアクセラレーションを可能にし、LoRAとシームレスに統合して効率的なスパースローランク適応を可能にすることができる。 さまざまなタスクに関する大規模な実験は、TaskEdgeの有効性を示している。

関連論文リスト

• Low-Rank Adaptation with Task-Relevant Feature Enhancement for Fine-tuning Language Models [2.3963398306126864]
  ニューラルネットワーク表現の編集の観点から,タスク関連機能向上のためのローランク適応型タスク関連特徴強調(LoRATRF)を提案する。 NLUを含むデータセットの希少性に関する実験として,本手法は33.71%のパラメータを削減し,SOTA低ランク手法と比較して各種データセットの性能を向上させる。
  論文  参考訳（メタデータ） (2024-12-13T03:38:49Z)
• Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
  本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。 実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-25T06:59:16Z)
• Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
  本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。 本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。