論文の概要: Decompose, Mix, Adapt: A Unified Framework for Parameter-Efficient Neural Network Recombination and Compression

• arxiv url: http://arxiv.org/abs/2603.27383v1
• Date: Sat, 28 Mar 2026 19:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.929978
• Title: Decompose, Mix, Adapt: A Unified Framework for Parameter-Efficient Neural Network Recombination and Compression
• Title（参考訳）: Decompose, Mix, Adapt: パラメータ効率の良いニューラルネットワーク再結合と圧縮のための統一フレームワーク
• Authors: Nazia Tasnim, Shrimai Prabhumoye, Bryan A. Plummer,
• Abstract要約: 補間共有基底射影(CRISP)による係数ゲート重み再結合を提案する。 CRISPは同じフレームワーク内で複数のPRタスクをシームレスに統合する。 実験の結果、CRISPは2タスクアプリケーションを4-5%高速化する以前の方法よりも優れていた。
• 参考スコア（独自算出の注目度）: 30.925082859761215
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parameter Recombination (PR) methods aim to efficiently compose the weights of a neural network for applications like Parameter-Efficient FineTuning (PEFT) and Model Compression (MC), among others. Most methods typically focus on one application of PR, which can make composing them challenging. For example, when deploying a large model you may wish to compress the model and also quickly adapt to new settings. However, PEFT methods often can still contain millions of parameters. This may be small compared to the original model size, but can be problematic in resource constrained deployments like edge devices, where they take a larger portion of the compressed model's parameters. To address this, we present Coefficient-gated weight Recombination by Interpolated Shared basis Projections (CRISP), a general approach that seamlessly integrates multiple PR tasks within the same framework. CRISP accomplishes this by factorizing pretrained weights into basis matrices and their component mixing projections. Sharing basis matrices across layers and adjusting its size enables us to perform MC, whereas the mixer weight's small size (fewer than 200 in some experiments) enables CRISP to support PEFT. Experiments show CRISP outperforms methods from prior work capable of dual-task applications by 4-5\% while also outperforming the state-of-the-art in PEFT by 1.5\% and PEFT+MC combinations by 1\%. Our code is available on the repository: https://github.com/appledora/CRISP-CVPR26.
• Abstract（参考訳）: パラメータ再結合(PR)法は、パラメータ効率の良いファインタニング(PEFT)やモデル圧縮(MC)などの応用のために、ニューラルネットワークの重みを効率的に構成することを目的としている。 ほとんどのメソッドは一般的にPRの1つのアプリケーションに重点を置いています。 例えば、大きなモデルをデプロイする場合、モデルを圧縮し、新しい設定に迅速に適応したい場合もあります。 しかし、PEFT法は、しばしば数百万のパラメータを含むことができる。 これはオリジナルのモデルサイズに比べて小さいかもしれないが、圧縮されたモデルのパラメータの大部分を取るエッジデバイスのようなリソース制約のあるデプロイメントでは問題となる可能性がある。 そこで本研究では,複数のPRタスクをシームレスに統合する汎用手法であるCRISP(Interpolated Shared basis Projections)を提案する。 CRISPは、事前学習した重量を基底行列とその成分混合射影に分解することでこれを達成している。 層間の基底行列の共有とサイズ調整はMCを実現するのに対して、ミキサー重量の小さいサイズ(一部の実験では200以下)はPEFTをサポートするのに役立ちます。 実験の結果、CRISPは従来の作業で2タスクを4～5倍に向上し、PEFTでは1.5倍、PEFT+MCの組み合わせでは1倍に向上した。 私たちのコードはリポジトリで利用可能です。

関連論文リスト

• Plug-and-Play Parameter-Efficient Tuning of Embeddings for Federated Recommendation [16.783108944320066]
  Federated Recommendation (FR)は、生データの代わりにモデルパラメータを共有することで、プライバシを保護しながら、このようなマルチエンドの協調トレーニングを可能にする。 本研究では,送信する必要のある埋め込みパラメータの量を削減すべく,Fine-Tuning (PEFT) を用いたFRトレーニングフレームワークを提案する。 本稿では,LoRAやHashをベースとした符号化などのPEFT技術の導入に加えて,新たなPEFT戦略としてResidual Quantized Variational Autoencoders(RQ-VAE)の利用について検討する。
  論文  参考訳（メタデータ） (2025-12-14T07:38:49Z)
• RECAST: Reparameterized, Compact weight Adaptation for Sequential Tasks [16.512587987753967]
  RECASTはタスク固有のトレーニング可能なパラメータを50未満に劇的に削減する新しい手法である。 本稿では,RECASTが様々なスケール,アーキテクチャ,パラメータ空間において,最先端の技術を最大3%向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-25T19:08:38Z)
• Sketch to Adapt: Fine-Tunable Sketches for Efficient LLM Adaptation [33.05581803204543]
  事前訓練された大規模言語モデル(LLM)の適応は極めて重要であるが、その巨大なサイズのため困難である。 スケッチチューン(SketchTune)は、重みをコンパクトな微調整可能なスケッチに圧縮する圧縮適応戦略である。 SketchTuneは、低ランクメソッドではなくスケッチによって近似された行列クラスに関する数学的洞察によってサポートされている。
  論文  参考訳（メタデータ） (2024-10-08T20:58:24Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [92.36876698509164]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
  本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。 PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-31T16:23:36Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。