論文の概要: Compressing Language Models for Specialized Domains

• arxiv url: http://arxiv.org/abs/2502.18424v1
• Date: Tue, 25 Feb 2025 18:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:47.681278
• Title: Compressing Language Models for Specialized Domains
• Title（参考訳）: 特化ドメインのための圧縮言語モデル
• Authors: Miles Williams, George Chrysostomou, Vitor Jeronymo, Nikolaos Aletras,
• Abstract要約: 汎用圧縮法は特殊領域の性能に悪影響を及ぼす可能性がある。 圧縮されたLMの領域性能を改善するための新しいトレーニング不要な手法であるクロスキャリブレーションを提案する。
• 参考スコア（独自算出の注目度）: 34.786926062666176
• License:
• Abstract: Compression techniques such as pruning and quantization offer a solution for more efficient deployment of language models (LMs), albeit with small performance drops in benchmark performance. However, general-purpose LM compression methods can negatively affect performance in specialized domains (e.g. biomedical or legal). Recent work has sought to address this, yet requires computationally expensive full-parameter fine-tuning. To this end, we propose cross-calibration, a novel training-free approach for improving the domain performance of compressed LMs. Our approach effectively leverages Hessian-based sensitivity to identify weights that are influential for both in-domain and general performance. Through extensive experimentation, we demonstrate that cross-calibration substantially outperforms existing approaches on domain-specific tasks, without compromising general performance. Notably, these gains come without additional computational overhead, displaying remarkable potential towards extracting domain-specialized compressed models from general-purpose LMs.
• Abstract（参考訳）: プルーニングや量子化のような圧縮技術は、より効率的な言語モデル(LM)のデプロイのためのソリューションを提供する。 しかし、汎用LM圧縮法は、特定の領域(例えば、バイオメディカルまたは合法)のパフォーマンスに悪影響を及ぼす可能性がある。 最近の研究はこの問題に対処しようとしたが、計算に費用がかかるフルパラメータの微調整が必要である。 そこで本研究では,圧縮されたLMの領域性能向上のためのクロスキャリブレーションを提案する。 提案手法はヘッセン系感度を有効利用し,ドメイン内および一般性能の両方に影響を及ぼす重みを同定する。 大規模な実験を通じて、クロスキャリブレーションは、一般的なパフォーマンスを損なうことなく、ドメイン固有のタスクに対する既存のアプローチを大幅に上回ることを示した。 特に、これらの利得は計算上のオーバーヘッドを伴わずに得られ、汎用LMからドメイン特化圧縮モデルを抽出する顕著な可能性を示す。

関連論文リスト

• DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization [61.492590008258986]
  大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。 本稿では,分散的にロバストな最適化を取り入れたDRPruningを提案する。
  論文  参考訳（メタデータ） (2024-11-21T12:02:39Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Pruning as a Domain-specific LLM Extractor [44.81262364608468]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な習熟度を示した。 LLMのサイズを減らすため, モデル刈り込み技術の研究はほとんど行われていない。 この研究は、LLM上のドメイン固有圧縮のための革新的な非構造的デュアルプルーニング手法であるD-Prunerを導入する。
  論文  参考訳（メタデータ） (2024-05-10T07:05:02Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• SlimSeg: Slimmable Semantic Segmentation with Boundary Supervision [54.16430358203348]
  本稿では,単純なスリム化可能なセマンティックセマンティックセマンティクス(SlimSeg)法を提案する。 提案するSlimSegは,様々な主流ネットワークを用いて,計算コストの動的調整と性能向上を実現するフレキシブルなモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-13T14:41:05Z)
• Domain Generalization via Domain-based Covariance Minimization [4.414778226415752]
  本稿では,領域間の条件分布の差を最小限に抑えるために,複数の領域に対する新しい分散測定法を提案する。 小規模なデータセットでは、未確認のテストデータセットよりも優れた一般化性能を示す、より良い定量的結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T19:30:15Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。