論文の概要: EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning

• arxiv url: http://arxiv.org/abs/2511.19935v1
• Date: Tue, 25 Nov 2025 05:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.284336
• Title: EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
• Title（参考訳）: EfficientXpert: Propagation-Aware Pruningによる大規模言語モデルの効率的なドメイン適応
• Authors: Songlin Zhao, Michael Pitts, Zhuwei Qin,
• Abstract要約: EfficientXpertは、伝搬対応プルーニング基準と効率的なアダプタ更新アルゴリズムを組み合わせた軽量なドメイン・プルーニングフレームワークである。 一般的な事前訓練されたモデルを、疎結合なドメイン適応の専門家に一段階の変換を可能にする。 40%の間隔で高密度モデルの性能を最大98%保持し、最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 0.19116784879310023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models (LLMs) has increased the demand for domain-specialized variants in areas such as law, healthcare, and finance. However, their large size remains a barrier to deployment in resource-constrained environments, and existing compression methods either generalize poorly across domains or incur high overhead. In this work, we propose \textbf{EfficientXpert}, a lightweight domain-pruning framework that combines a propagation-aware pruning criterion (Foresight Mask) with an efficient adapter-update algorithm (Partial Brain Surgeon). Integrated into the LoRA fine-tuning process, EfficientXpert enables a one-step transformation of general pretrained models into sparse, domain-adapted experts. Across health and legal tasks, it retains up to 98% of dense-model performance at 40% sparsity, outperforming state-of-the-art methods. Further analysis reveals substantial domain-dependent structural shifts that degrade the effectiveness of general pruning masks, underscoring the need for adaptive, domain-aware pruning strategies tailored to each domain.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、法律、医療、金融といった分野でのドメイン特化変異に対する需要が高まっている。 しかし、その大きなサイズは、リソースが制限された環境でのデプロイメントの障壁であり、既存の圧縮メソッドはドメイン全体にわたってあまり一般化していないか、高いオーバーヘッドを伴っている。 本研究では,プログレッシブ対応プルーニング基準(Foresight Mask)と効率的なアダプタ更新アルゴリズム(Partial Brain Surgeon)を組み合わせた軽量なドメイン・プルーニング・フレームワークである「textbf{EfficientXpert}」を提案する。 LoRAファインチューニングプロセスに統合されたEfficientXpertは、一般的な事前学習されたモデルを、疎結合なドメイン適応の専門家に一段階の変換を可能にする。 健康や法的タスク全体では、高密度モデルのパフォーマンスの98%を40%の間隔で維持し、最先端の手法よりも優れています。 さらなる分析により、一般的なプルーニングマスクの有効性を低下させ、各ドメインに合わせた適応的なドメイン対応プルーニング戦略の必要性を強調する領域依存的な構造変化が明らかになる。

関連論文リスト

• RoME: Domain-Robust Mixture-of-Experts for MILP Solution Prediction across Domains [17.62400981694534]
  ドメイン間のMILPソリューションを予測するための,ドメイン-Robust Mixture-of-ExpertsフレームワークであるRoMEを紹介する。 3つのドメインでトレーニングされた1つのRoMEモデルは平均67.7%の改善を達成し、5つの異なるドメインで評価する。
  論文  参考訳（メタデータ） (2025-11-04T07:32:27Z)
• Feature-Space Planes Searcher: A Universal Domain Adaptation Framework for Interpretability and Computational Efficiency [7.889121135601528]
  現在の教師なし領域適応法は微調整特徴抽出器に依存している。 領域適応フレームワークとしてFPS(Feature-space Planes Searcher)を提案する。 FPSは最先端の手法と比較して,競争力や性能に優れることを示す。
  論文  参考訳（メタデータ） (2025-08-26T05:39:21Z)
• DA-Mamba: Domain Adaptive Hybrid Mamba-Transformer Based One-Stage Object Detection [0.3683202928838613]
  ドメイン適応型マンバ型一段階物体検出モデルDA-マンバについて述べる。 Mambaアーキテクチャのグローバルなモデリングと線形複雑性にインスパイアされ、最初のドメイン適応型Mambaベースのワンステージオブジェクト検出モデルであるDA-Mambaを提示する。
  論文  参考訳（メタデータ） (2025-02-16T15:58:54Z)
• GDO:Gradual Domain Osmosis [5.620015188968398]
  本稿では,GDA(Gradual Domain Adaptation)において,ソースドメインからターゲットドメインへのスムーズな知識マイグレーションの問題を解決することを目的とした,Gradual Domain Osmosisと呼ばれる新しい手法を提案する。 従来のGradual Domain Adaptationメソッドは、中間ドメインの導入と自己学習戦略によってドメインバイアスを軽減するが、多くの場合、中間ドメインにおける非効率的な知識マイグレーションや欠落データといった課題に直面している。
  論文  参考訳（メタデータ） (2025-01-31T14:25:45Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• From Big to Small: Adaptive Learning to Partial-Set Domains [94.92635970450578]
  ドメイン適応は、分布シフト中のラベル付きソースドメインからラベルなしターゲットドメインへの知識獲得と普及を目標とする。 近年の進歩は、大規模の深層学習モデルにより、小規模の下流の多様な課題に取り組むための豊富な知識が得られていることを示している。 本稿では,学習パラダイムである部分領域適応(Partial Domain Adaptation, PDA)を紹介する。
  論文  参考訳（メタデータ） (2022-03-14T07:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。