論文の概要: Deriving Coding-Specific Sub-Models from LLMs using Resource-Efficient Pruning

• arxiv url: http://arxiv.org/abs/2501.05248v1
• Date: Thu, 09 Jan 2025 14:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:59.153204
• Title: Deriving Coding-Specific Sub-Models from LLMs using Resource-Efficient Pruning
• Title（参考訳）: 資源効率プルーニングを用いたLLMからの符号化特化サブモデルの作成
• Authors: Laura Puccioni, Alireza Farshin, Mariano Scazzariello, Changjie Wang, Marco Chiesa, Dejan Kostic,
• Abstract要約: 大規模言語モデル(LLM)は、様々な複雑なコード生成タスクにおいて、その例外的な性能を実証している。 このような要求を緩和するために、モデルプルーニング技術は、パラメータが著しく少ないよりコンパクトなモデルを作成するために使用される。 本研究では,非構造化プルーニングによる符号化特化サブモデルの効率的な導出について検討する。
• 参考スコア（独自算出の注目度）: 4.762390044282733
• License:
• Abstract: Large Language Models (LLMs) have demonstrated their exceptional performance in various complex code generation tasks. However, their broader adoption is limited by significant computational demands and high resource requirements, particularly memory and processing power. To mitigate such requirements, model pruning techniques are used to create more compact models with significantly fewer parameters. However, current approaches do not focus on the efficient extraction of programming-language-specific sub-models. In this work, we explore the idea of efficiently deriving coding-specific sub-models through unstructured pruning (i.e., Wanda). We investigate the impact of different domain-specific calibration datasets on pruning outcomes across three distinct domains and extend our analysis to extracting four language-specific sub-models: Python, Java, C++, and JavaScript. We are the first to efficiently extract programming-language-specific sub-models using appropriate calibration datasets while maintaining acceptable accuracy w.r.t. full models. We are also the first to provide analytical evidence that domain-specific tasks activate distinct regions within LLMs, supporting the creation of specialized sub-models through unstructured pruning. We believe that this work has significant potential to enhance LLM accessibility for coding by reducing computational requirements to enable local execution on consumer-grade hardware, and supporting faster inference times critical for real-time development feedback.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な複雑なコード生成タスクにおいて、その例外的な性能を実証している。 しかし、その広範な採用は、大きな計算要求と高いリソース要求、特にメモリと処理能力によって制限されている。 このような要求を緩和するために、モデルプルーニング技術は、パラメータが著しく少ないよりコンパクトなモデルを作成するために使用される。 しかし、現在のアプローチでは、プログラミング言語固有のサブモデルの効率的な抽出に重点を置いていない。 本研究では、非構造化プルーニング(すなわちワンダ)を通して、符号化固有のサブモデルを効率的に導出するアイデアを探求する。 異なるドメイン固有のキャリブレーションデータセットが3つの異なるドメインにわたるプルーニング結果に与える影響を調査し、分析を拡張して4つの言語固有のサブモデル(Python、Java、C++、JavaScript)を抽出する。 我々は、適切なキャリブレーションデータセットを用いてプログラミング言語固有のサブモデルを効率的に抽出し、許容精度をw.r.t.フルモデルで維持する。 また、ドメイン固有のタスクがLLM内の異なる領域を活性化し、非構造化プルーニングによる特殊なサブモデルの作成を支援するという分析的証拠を初めて提供する。 本研究は,コンシューマグレードハードウェア上でのローカル実行を実現するための計算要求を削減し,リアルタイムな開発フィードバックに不可欠な高速な推論時間をサポートすることにより,コーディングのLCMアクセシビリティを向上させる大きな可能性を秘めている。

関連論文リスト

• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Chunk-Distilled Language Modeling [25.238256586953487]
  Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。 提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
  論文  参考訳（メタデータ） (2024-12-31T08:32:15Z)
• EmbedLLM: Learning Compact Representations of Large Language Models [28.49433308281983]
  大規模言語モデルのコンパクトなベクトル表現を学習するためのフレームワークである EmbedLLM を提案する。 このような埋め込みを学習するためのエンコーダ-デコーダアプローチと,その有効性を評価するための体系的なフレームワークを導入する。 EmbedLLMはモデルルーティングにおいて,精度とレイテンシの両方において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-03T05:43:24Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• Local Large Language Models for Complex Structured Medical Tasks [0.0]
  本稿では,大規模言語モデルの言語推論機能と,複雑なドメイン特化タスクに取り組むための局所学習の利点を組み合わせたアプローチを提案する。 具体的には,病理報告から構造化条件コードを抽出し,そのアプローチを実証する。
  論文  参考訳（メタデータ） (2023-08-03T12:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。