論文の概要: MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection

• arxiv url: http://arxiv.org/abs/2505.23870v1
• Date: Thu, 29 May 2025 10:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.589329
• Title: MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection
• Title（参考訳）: MaCP:階層的コサイン投影による最小かつ最短適応
• Authors: Yixian Shen, Qi Bi, Jia-Hong Huang, Hongyi Zhu, Andy D. Pimentel, Anuj Pathania,
• Abstract要約: MaCP(Minimum yet Mighty Adaptive Cosine Projection)は、最小パラメータとメモリを必要としながら、例外的な性能を達成する。 既存の代替システムに比べて高い精度、計算量を大幅に削減し、メモリ要件を低くする。
• 参考スコア（独自算出の注目度）: 10.300935899853748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new adaptation method MaCP, Minimal yet Mighty adaptive Cosine Projection, that achieves exceptional performance while requiring minimal parameters and memory for fine-tuning large foundation models. Its general idea is to exploit the superior energy compaction and decorrelation properties of cosine projection to improve both model efficiency and accuracy. Specifically, it projects the weight change from the low-rank adaptation into the discrete cosine space. Then, the weight change is partitioned over different levels of the discrete cosine spectrum, and each partition's most critical frequency components are selected. Extensive experiments demonstrate the effectiveness of MaCP across a wide range of single-modality tasks, including natural language understanding, natural language generation, text summarization, as well as multi-modality tasks such as image classification and video understanding. MaCP consistently delivers superior accuracy, significantly reduced computational complexity, and lower memory requirements compared to existing alternatives.
• Abstract（参考訳）: 大規模基礎モデルの微調整に最小限のパラメータとメモリを必要としながら、例外的な性能を実現する新しい適応手法MaCP(Minimmal yet Mighty Adaptive Cosine Projection)を提案する。 その一般的な考え方は、モデル効率と精度の両方を改善するために、コサイン射影の優れたエネルギー圧縮とデコリレーション特性を活用することである。 具体的には、低ランク適応から離散コサイン空間への重み変化を投影する。 次に、離散コサインスペクトルの異なるレベルに重み変化を分割し、各パーティションの最も重要な周波数成分を選択する。 広範にわたる実験は、自然言語理解、自然言語生成、テキスト要約、画像分類やビデオ理解といったマルチモーダルタスクを含む、幅広い単一モーダルタスクにおけるMaCPの有効性を実証している。 MaCPは、既存の代替品と比較して、常に優れた精度、計算の複雑さを著しく低減し、メモリ要求を低くする。

関連論文リスト

• HiLAB: A Hybrid Inverse-Design Framework [0.0]
  HiLABはナノフォトニック構造の逆設計のための新しいパラダイムである。 シミュレーションコストを削減した多様なフリーフォーム構成を生成することで、多機能デバイス設計に対処する。
  論文  参考訳（メタデータ） (2025-05-23T05:34:56Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform [10.565509997395504]
  本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (SDCTFT) を提案する。 その一般的な考え方は、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。 4つのベンチマークデータセットの実験では、より優れた精度、計算コストの削減、ストレージ要求の低減が示されている。
  論文  参考訳（メタデータ） (2024-10-09T16:07:42Z)
• CWF: Consolidating Weak Features in High-quality Mesh Simplification [50.634070540791555]
  これらの要件をすべて同時に検討するスムーズな機能を提案する。 この官能基は、通常の異方性項と、セトロイド型ボロノイテッセルレーション(CVT)エネルギー項を含む。
  論文  参考訳（メタデータ） (2024-04-24T05:37:17Z)
• Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models [1.5807079236265718]
  KENはカーネル密度推定(KDE)に基づく単純で普遍的で非構造化プルーニングアルゴリズムである Kenは、最適化されたトランスフォーマーを構築することを目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。 Kenは、元の未実行バージョンと同等かそれ以上のパフォーマンスを達成し、パラメータの最小25%の削減を実現している。
  論文  参考訳（メタデータ） (2024-02-05T16:11:43Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Compression of descriptor models for mobile applications [26.498907514590165]
  深層ニューラルネットワークにおける計算コスト,モデルサイズ,マッチング精度のトレードオフを評価する。 我々は、深度的に分離可能な層を用いることで、学習重量の顕著な冗長性を観察する。 本稿では,標準的な畳み込みと奥行き分離可能な畳み込みを補間する手段を提供する,畳み込み-Depthwise-Pointwise(CDP)層を提案する。
  論文  参考訳（メタデータ） (2020-01-09T17:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。