論文の概要: PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation

• arxiv url: http://arxiv.org/abs/2502.15857v1
• Date: Fri, 21 Feb 2025 07:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:21.048730
• Title: PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation
• Title（参考訳）: PPC-GPT: Pruning と Chain-of-Thought 蒸留による大規模言語モデルのタスク特異的圧縮
• Authors: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang,
• Abstract要約: PPC-GPTは、大規模言語モデルをタスク固有の小言語モデルに圧縮するためのプライバシー保護フレームワークである。 PPC-GPTは競合性能を達成し,データプライバシ保護を優先することを示す。
• 参考スコア（独自算出の注目度）: 26.127863923240408
• License:
• Abstract: Compressing Large Language Models (LLMs) into task-specific Small Language Models (SLMs) encounters two significant challenges: safeguarding domain-specific knowledge privacy and managing limited resources. To tackle these challenges, we propose PPC-GPT, a innovative privacy-preserving federated framework specifically designed for compressing LLMs into task-specific SLMs via pruning and Chain-of-Thought (COT) distillation. PPC-GPT works on a server-client federated architecture, where the client sends differentially private (DP) perturbed task-specific data to the server's LLM. The LLM then generates synthetic data along with their corresponding rationales. This synthetic data is subsequently used for both LLM pruning and retraining processes. Additionally, we harness COT knowledge distillation, leveraging the synthetic data to further improve the retraining of structurally-pruned SLMs. Our experimental results demonstrate the effectiveness of PPC-GPT across various text generation tasks. By compressing LLMs into task-specific SLMs, PPC-GPT not only achieves competitive performance but also prioritizes data privacy protection.
• Abstract（参考訳）: タスク固有のSLM(Small Language Models)にLLM(Large Language Models)を圧縮することは、ドメイン固有の知識のプライバシ保護と限られたリソース管理という、2つの大きな課題に直面する。 これらの課題に対処するため,我々は, PPC-GPTを提案する。これは, Pruning and Chain-of-Thought (COT)蒸留により, LLMをタスク固有のSLMに圧縮するように設計された,革新的なプライバシ保護フェデレーションフレームワークである。 PPC-GPTはサーバ指向のフェデレーションアーキテクチャで動作し、クライアントはサーバのLCMに差分プライベート(DP)なタスク固有のデータを送信します。 LLMは、対応する理性と共に合成データを生成する。 この合成データはその後、LLMプルーニングおよび再学習プロセスの両方に使用される。 さらに,COT の知識蒸留を利用して合成データを活用し,構造処理した SLM の再学習をさらに改善する。 実験の結果,テキスト生成タスクにおけるPPC-GPTの有効性が示された。 LLMをタスク固有のSLMに圧縮することにより、PPC-GPTは競合性能を達成するだけでなく、データのプライバシ保護も優先する。

関連論文リスト

• Federated In-Context LLM Agent Learning [3.4757641432843487]
  大規模言語モデル(LLM)は、論理的推論、ツールの使用、エージェントとしての外部システムとの相互作用を可能にすることによって、インテリジェントなサービスに革命をもたらした。 本稿では,プライバシ保護型フェデレーション・イン・コンテクスト LLM Agent Learning (FICAL) アルゴリズムを提案する。 その結果、FICALは、他のSOTAベースラインと比較して競争性能が優れており、通信コストの大幅な削減は、$mathbf3.33times105$倍であることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T03:00:24Z)
• HARMONIC: Harnessing LLMs for Tabular Data Synthesis and Privacy Protection [44.225151701532454]
  本稿では,表データ生成と評価のための新しいフレームワークHARMONICを提案する。 本フレームワークは, 既存の手法と同等の性能を向上し, また, 合成データの有効性とプライバシーリスクを評価するための評価枠組みを実証する。
  論文  参考訳（メタデータ） (2024-08-06T03:21:13Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• PDSS: A Privacy-Preserving Framework for Step-by-Step Distillation of Large Language Models [29.58928014528991]
  PDSSはサーバクライアントアーキテクチャで動作し、クライアントは合理生成のためにサーバのLCMにプロンプトを送信する。 生成された合理性はクライアントによってデコードされ、タスク固有の小言語モデルのトレーニングを強化するために使用される。 各種テキスト生成タスクにおけるPDSSの有効性を示す実験により,タスク固有のSLMを訓練し,性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-18T08:48:14Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Differentially Private Knowledge Distillation via Synthetic Text Generation [5.201318326501886]
  本研究では,差分プライベートな知識蒸留アルゴリズムであるDistilDPを提案する。 DistilDPは、差分的にプライベートなLLMによって生成された合成データを利用する。 実験の結果, DistilDPは既存のベースラインよりも実用性を大幅に向上できることがわかった。
  論文  参考訳（メタデータ） (2024-03-01T19:22:24Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。