論文の概要: Alignment Adapter to Improve the Performance of Compressed Deep Learning Models

• arxiv url: http://arxiv.org/abs/2602.14635v1
• Date: Mon, 16 Feb 2026 10:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.372636
• Title: Alignment Adapter to Improve the Performance of Compressed Deep Learning Models
• Title（参考訳）: 圧縮型ディープラーニングモデルの性能向上のためのアライメントアダプタ
• Authors: Rohit Raj Rai, Abhishek Dhaka, Amit Awekar,
• Abstract要約: AlAd(Alignment Adapter)は、軽量でスライディングウインドウベースのアダプタである。 これは、圧縮されたモデルのトークンレベルの埋め込みと、オリジナルの大きなモデルの埋め込みとを一致させる。 AlAdは、凍結圧縮されたモデル上のプラグアンドプレイモジュールとして、あるいは圧縮されたモデルと共同で微調整することで、さらなるパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 1.1087735229999816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compressed Deep Learning (DL) models are essential for deployment in resource-constrained environments. But their performance often lags behind their large-scale counterparts. To bridge this gap, we propose Alignment Adapter (AlAd): a lightweight, sliding-window-based adapter. It aligns the token-level embeddings of a compressed model with those of the original large model. AlAd preserves local contextual semantics, enables flexible alignment across differing dimensionalities or architectures, and is entirely agnostic to the underlying compression method. AlAd can be deployed in two ways: as a plug-and-play module over a frozen compressed model, or by jointly fine-tuning AlAd with the compressed model for further performance gains. Through experiments on BERT-family models across three token-level NLP tasks, we demonstrate that AlAd significantly boosts the performance of compressed models with only marginal overhead in size and latency.
• Abstract（参考訳）: 圧縮ディープラーニング(DL)モデルは、リソース制約のある環境でのデプロイメントに不可欠である。 しかし、彼らのパフォーマンスは大規模なパフォーマンスよりも遅れることが多い。 このギャップを埋めるために、我々はAlAd(Alignment Adapter)を提案する。 これは、圧縮されたモデルのトークンレベルの埋め込みと、オリジナルの大きなモデルの埋め込みとを一致させる。 AlAdは局所的なコンテキストセマンティクスを保持し、異なる次元やアーキテクチャをまたいで柔軟なアライメントを可能にする。 AlAdは、凍結圧縮されたモデル上のプラグアンドプレイモジュールとして、あるいは圧縮されたモデルと共同で微調整することで、さらなるパフォーマンス向上を実現している。 3つのトークンレベルNLPタスクを対象としたBERTファミリーモデルの実験を通じて、AlAdが圧縮モデルの性能を大幅に向上することを示した。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Proxy Compression for Language Modeling [58.904023114033954]
  プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
  論文  参考訳（メタデータ） (2026-02-04T07:36:46Z)
• MEGA-PCC: A Mamba-based Efficient Approach for Joint Geometry and Attribute Point Cloud Compression [9.422873276112067]
  MEGA-PCCは、完全エンドツーエンドの学習ベースのフレームワークで、ジョイント圧縮のための2つの特別なモデルを備えている。 従来のベースラインと学習ベースのベースラインの両方と比較して、速度歪み性能と実行効率が優れている。
  論文  参考訳（メタデータ） (2025-12-27T04:43:36Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• CompLeak: Deep Learning Model Compression Exacerbates Privacy Leakage [14.170572219170158]
  我々は3つの広く使用されている圧縮構成を調べる最初のプライバシリスクフレームワークであるCompLeakを提案する。 CompLeakには3つのバリエーションがあり、圧縮されたモデルとオリジナルのモデルの数にアクセスできる。
  論文  参考訳（メタデータ） (2025-07-22T08:02:46Z)
• Towards Compatible Fine-tuning for Vision-Language Model Updates [114.25776195225494]
  クラス条件付きコンテキスト最適化(ContCoOp)は、学習可能なプロンプトと、テキストエンコーダに入力する前に注意層を使用してクラス埋め込みを統合する。 15のデータセットで実験した結果,ContCoOpはベースライン法よりも高い互換性を示し,分布外一般化の堅牢性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-12-30T12:06:27Z)
• Application Specific Compression of Deep Learning Models [0.8875650122536799]
  大規模なディープラーニングモデルは圧縮され、特定のアプリケーションにデプロイされる。 私たちのゴールは、モデル圧縮プロセスをカスタマイズして、ターゲットアプリケーションにより良いパフォーマンスをもたらす圧縮モデルを作成することです。 抽出QA, 自然言語推論, パラフレーズ同定の3つの応用について, BERTファミリを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-09-09T06:55:38Z)
• Lightweight Attribute Localizing Models for Pedestrian Attribute Recognition [13.480231032159834]
  本稿では,圧縮モデルの勾配方向が元のモデルと密接に一致していることを保証するため,低ランク層の最適ランクを決定する新しい手法を提案する。 これは、圧縮されたモデルはフルモデルの更新方向を効果的に保存し、歩行者属性認識タスクのより効率的な圧縮を可能にすることを意味する。
  論文  参考訳（メタデータ） (2023-06-16T13:07:13Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• Sparsity-guided Network Design for Frame Interpolation [39.828644638174225]
  フレームベースアルゴリズムのための圧縮駆動型ネットワーク設計を提案する。 モデルサイズを大幅に削減するために、スパーシリティ誘導最適化によるモデルプルーニングを活用する。 原型AdaCoFの4分の1の大きさで大幅な性能向上を実現しています。
  論文  参考訳（メタデータ） (2022-09-09T23:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。