論文の概要: LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2411.06839v2
• Date: Tue, 25 Feb 2025 06:42:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:20:17.501625
• Title: LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models
• Title（参考訳）: LLM-NEO:大規模言語モデルのためのパラメータ効率の良い知識蒸留
• Authors: Runming Yang, Taiqiang Wu, Jiahao Wang, Pengfei Hu, Yik-Chung Wu, Ngai Wong, Yujiu Yang,
• Abstract要約: 知識蒸留(KD)は、大規模言語モデル(LLM)を圧縮する主要な方法である。 本研究は,LoRAをKDに統合し,知識伝達効率を向上させるパラメータ効率の高い知識蒸留法 LLM-NEO を提案する。
• 参考スコア（独自算出の注目度）: 54.86076216773461
• License:
• Abstract: Knowledge distillation (KD) has been a predominant method for compressing Large Language Models (LLMs). In this paper, we first revisit KD and Low-Rank Adaption (LoRA) and demonstrate that they follow the same paradigm. Inspired by this observation, we propose a parameter-efficient knowledge distillation method, LLM-NEO, which integrates LoRA into KD to improve the efficiency of knowledge transfer. After that, we summarize some valuable guidelines for the hyperparameters in LLM-NEO. Experimental results on compressing Llama 2 and Llama 3.2 show that LLM-NEO outperforms various baselines. Further analysis demonstrates the robustness of the proposed LLM-NEO on variants of LoRA. The code and trained models are available at [Github](https://github.com/yang3121099/LLM-Neo).
• Abstract（参考訳）: 知識蒸留(KD)は大規模言語モデル(LLM)を圧縮する主要な手法である。 本稿では,まずKD と Low-Rank Adaption (LoRA) を再検討し,それらが同じパラダイムに従うことを実証する。 本研究は,LoRAをKDに統合し,知識伝達効率を向上させるパラメータ効率の高い知識蒸留法 LLM-NEO を提案する。 その後、LLM-NEOにおけるハイパーパラメーターに関する重要なガイドラインをいくつかまとめる。 Llama 2 と Llama 3.2 の圧縮実験の結果、LLM-NEO は様々なベースラインよりも優れていた。 さらなる分析は、LLM-NEOのロラの変種に対する堅牢性を示している。 コードとトレーニングされたモデルは[Github](https://github.com/yang3121099/LLM-Neo)で公開されている。

関連論文リスト

• Policy-to-Language: Train LLMs to Explain Decisions with Flow-Matching Generated Rewards [37.063288509982904]
  LLMに基づくモデルに依存しない説明生成器を構築する。 このLSMをトレーニングする報酬は、生成フローマッチングモデルによって生成される。 RLタスクとLLMタスクの両方の実験により、高額な人的フィードバックを節約しながら、高密度で効果的な報酬を生成できることが実証された。
  論文  参考訳（メタデータ） (2025-02-18T04:34:45Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation [41.05687297326706]
  LLaVA-MoDは、小規模マルチモーダル言語モデルの効率的なトレーニングを可能にするために設計されたフレームワークである。 スパースミキサーアーキテクチャを言語モデルに統合することにより、s-MLLMのネットワーク構造を最適化する。 また,包括的知識移動を確保するために,先進的な知識移動戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T15:52:23Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model [12.6937643116018]
  大規模言語モデル(LLM)はレコメンデーションとして効果的に利用されており、優れたパフォーマンスを実現している。 しかし、LLMの高推論遅延は、実用的デプロイメントを著しく制限する。 本研究では,LLMに基づく推薦モデルから軽量シーケンシャルモデルへの知識蒸留について検討する。
  論文  参考訳（メタデータ） (2024-05-01T06:23:54Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [83.00018517368973]
  LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。 ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない 我々は、よく知られたMixture-of-Experts(MoE)と代表的なPEFT技法の1つであるLoRA(LoRA-MoE)を組み合わせて、マルチモーダル学習のための新しいLLMベースのデコーダ(LoRA-MoE)を設計する。
  論文  参考訳（メタデータ） (2023-11-05T15:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。