論文の概要: Task Specific Pruning with LLM-Sieve: How Many Parameters Does Your Task Really Need?
- arxiv url: http://arxiv.org/abs/2505.18350v1
- Date: Fri, 23 May 2025 20:17:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.358274
- Title: Task Specific Pruning with LLM-Sieve: How Many Parameters Does Your Task Really Need?
- Title（参考訳）: LLM-Sieveを使ったタスク特化処理: タスクに本当に必要なパラメータはいくつあるか?
- Authors: Waleed Reda, Abhinav Jangda, Krishna Chintalapudi,
- Abstract要約: 大きな言語モデル(LLM)は、狭義のタスクにますます採用されている。
タスクには実際に何つのパラメータが必要ですか?
LLM-Sieveは,LLMのタスク固有プルーニングのための,最初の包括的フレームワークである。
- 参考スコア（独自算出の注目度）: 2.678235552360207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models (LLMs) are increasingly being adopted for narrow tasks - such as medical question answering or sentiment analysis - and deployed in resource-constrained settings, a key question arises: how many parameters does a task actually need? In this work, we present LLM-Sieve, the first comprehensive framework for task-specific pruning of LLMs that achieves 20-75% parameter reduction with only 1-5% accuracy degradation across diverse domains. Unlike prior methods that apply uniform pruning or rely on low-rank approximations of weight matrices or inputs in isolation, LLM-Sieve (i) learns task-aware joint projections to better approximate output behavior, and (ii) employs a Genetic Algorithm to discover differentiated pruning levels for each matrix. LLM-Sieve is fully compatible with LoRA fine-tuning and quantization, and uniquely demonstrates strong generalization across datasets within the same task domain. Together, these results establish a practical and robust mechanism to generate smaller performant task-specific models.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、医学的質問応答や感情分析といった狭いタスクにますます採用され、リソース制約のある設定にデプロイされるにつれて、重要な問題が発生する。
そこで本研究では,LLMのタスク固有プルーニングのための汎用フレームワーク LLM-Sieve について述べる。
LLM-Sieveは、一様に刈り取ったり、ウェイト行列やインプットの低ランク近似に頼ったりした以前の方法とは異なり、LLM-Sieve
(i)タスク対応ジョイントプロジェクションを学習し、出力の挙動を近似させ、
(II) 遺伝的アルゴリズムを用いて, 各行列の識別プルーニングレベルを検出する。
LLM-SieveはLoRAの微調整と量子化と完全に互換性があり、同じタスク領域内のデータセット間の強力な一般化をユニークに示す。
これらの結果は、より小型のタスク固有モデルを生成するための実用的で堅牢なメカニズムを確立する。
関連論文リスト
- Extracting Interpretable Task-Specific Circuits from Large Language Models for Faster Inference [44.99833362998488]
大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。
対象タスクを適切に実行するLLMのサブセットを自動的に抽出する新しい手法を提案する。
得られたモデルはかなり小さく、パラメータの数を82.77%まで減らし、(ii)より解釈可能であることを示す。
論文 参考訳（メタデータ） (2024-12-20T10:11:44Z) - MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。
MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。
このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
論文 参考訳（メタデータ） (2024-10-12T08:32:26Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs
Using the CGC-LORA Algorithm [7.521690071464451]
大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。
我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
論文 参考訳（メタデータ） (2024-01-22T07:58:31Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳（メタデータ） (2024-01-14T16:17:07Z) - Mitigating Task Interference in Multi-Task Learning via Explicit Task
Routing with Non-Learnable Primitives [19.90788777476128]
マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。
既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。
本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
論文 参考訳（メタデータ） (2023-08-03T22:34:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。