Fugu-MT 論文翻訳(概要): GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

論文の概要: GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings

arxiv url: http://arxiv.org/abs/2509.10844v1
Date: Sat, 13 Sep 2025 15:03:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-16 17:26:22.811205
Title: GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings
Title（参考訳）: GAPrune: ドメイン認識の埋め込みのためのグラディエントアライメント・プルーニング
Authors: Yixuan Tang, Yi Yang,
Abstract要約: ドメイン固有の埋め込みモデルは、専門的なセマンティック理解を必要とするアプリケーションに対して約束されている。プルーニングによるモデル圧縮は有望な解決策を提供するが、既存のプルーニング手法は全てのパラメータを均一に扱う。本稿では,ドメインの重要性と一般的な言語基盤の保全を両立する,プランニングフレームワークであるGAPruneを提案する。
参考スコア（独自算出の注目度）: 12.949322198287417
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Domain-specific embedding models have shown promise for applications that require specialized semantic understanding, such as coding agents and financial retrieval systems, often achieving higher performance gains than general models. However, state-of-the-art embedding models are typically based on LLMs, which contain billions of parameters, making deployment challenging in resource-constrained environments. Model compression through pruning offers a promising solution, but existing pruning methods treat all parameters uniformly, failing to distinguish between general semantic representations and domain-specific patterns, leading to suboptimal pruning decisions. Thus, we propose GAPrune, a pruning framework that addresses this challenge by considering both domain importance and preserving general linguistic foundation. Our method uses Fisher Information to measure importance and general-domain gradient alignment to assess parameter behavior, then combines these signals using our Domain Alignment Importance (DAI) scoring. Lower DAI scores indicate that the parameter is either less important for the domain task or creates conflicts between domain and general objectives. Experiments on two domain benchmarks, FinMTEB and ChemTEB, show that GAPrune maintains performance within 2.5% of dense models in one-shot pruning at 50% sparsity, while outperforming all baselines. With retraining in 100 steps, GAPrune achieves +4.51% improvement on FinMTEB and +1.73% on ChemTEB, demonstrating that our pruning strategy not only preserves but enhances domain-specific capabilities. Our findings demonstrate that principled pruning strategies can achieve model compression and enhanced domain specialization, providing the research community with a new approach for development.
Abstract（参考訳）: ドメイン固有の埋め込みモデルは、コーディングエージェントやファイナンシャル検索システムのような特別な意味理解を必要とするアプリケーションに対して、一般的なモデルよりも高いパフォーマンス向上を達成することを約束している。しかし、最先端の埋め込みモデルは典型的には、数十億のパラメータを含むLLMに基づいており、リソースに制約のある環境でのデプロイメントは困難である。プルーニングによるモデル圧縮は有望な解決策を提供するが、既存のプルーニング手法は全てのパラメータを均一に扱うことができ、一般的な意味表現とドメイン固有のパターンを区別できないため、最適プルーニング決定に繋がる。そこで我々は,この課題に対処し,ドメインの重要性と一般的な言語基盤の保存を両立させることにより,GAPruneを提案する。提案手法はFisher Informationを用いてパラメータの振舞いを評価するために重要度と一般領域勾配アライメントを測定し,これらの信号をDAI(Domain Alignment Importance)スコアを用いて組み合わせる。下位のDAIスコアは、パラメータがドメインのタスクにとって重要でないか、あるいはドメインと一般的な目的の間の衝突を引き起こすことを示している。 FinMTEBとChemTEBという2つのドメインベンチマークの実験では、GAPruneは1発のプルーニングにおいて50%の間隔で高密度モデルの2.5%で性能を維持し、全てのベースラインを上回っている。 GAPruneは100ステップで再トレーニングを行い、FinMTEBが4.51%改善し、ChemTEBが+1.73%向上した。本研究は, モデル圧縮とドメインの高度化を実現し, 研究コミュニティに新たな開発アプローチを提供することを実証した。

関連論文リスト

Gradient-Guided Annealing for Domain Generalization [5.124256074746721]
ドメインの一般化効率を向上させるため,GGAアルゴリズムを提案する。 GGAの有効性は、広く受け入れられ、困難な画像分類領域の一般化ベンチマークで評価される。
論文参考訳（メタデータ） (2025-02-27T15:01:55Z)
Exploiting Aggregation and Segregation of Representations for Domain Adaptive Human Pose Estimation [50.31351006532924]
人間のポーズ推定(HPE)は最近、モーション分析、バーチャルリアリティー、ヘルスケア等に広く応用されているため、注目を集めている。時間と労働集約的なアノテーションのために、ラベル付き現実世界のデータセットが不足している。本稿では,ドメイン適応型人間のポーズ推定のための表現集約と分離を両立させる新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-29T17:59:45Z)
StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
論文参考訳（メタデータ） (2024-06-01T02:41:34Z)
Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
論文参考訳（メタデータ） (2023-05-23T18:01:49Z)
Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
論文参考訳（メタデータ） (2022-03-24T11:54:59Z)
Domain Generalisation for Object Detection under Covariate and Concept Shift [10.32461766065764]
ドメインの一般化は、ドメイン固有の特徴を抑えながら、ドメイン不変の機能の学習を促進することを目的としている。オブジェクト検出のためのドメイン一般化手法を提案し, オブジェクト検出アーキテクチャに適用可能な最初のアプローチを提案する。
論文参考訳（メタデータ） (2022-03-10T11:14:18Z)
META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
論文参考訳（メタデータ） (2021-12-16T08:06:50Z)
Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文参考訳（メタデータ） (2020-12-15T13:21:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。