論文の概要: Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform

• arxiv url: http://arxiv.org/abs/2410.09103v1
• Date: Wed, 9 Oct 2024 16:07:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:38:28.650428
• Title: Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform
• Title（参考訳）: 離散離散コサイン変換によるパラメータ効率の良いファインチューニング
• Authors: Yixian Shen, Qi Bi, Jia-Hong Huang, Hongyi Zhu, Anuj Pathania,
• Abstract要約: 本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (SDCTFT) を提案する。 その一般的な考え方は、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。 4つのベンチマークデータセットの実験では、より優れた精度、計算コストの削減、ストレージ要求の低減が示されている。
• 参考スコア（独自算出の注目度）: 10.565509997395504
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the era of large language models, parameter-efficient fine-tuning (PEFT) has been extensively studied. However, these approaches usually rely on the space domain, which encounters storage challenges especially when handling extensive adaptations or larger models. The frequency domain, in contrast, is more effective in compressing trainable parameters while maintaining the expressive capability. In this paper, we propose a novel Selective Discrete Cosine Transformation (sDCTFT) fine-tuning scheme to push this frontier. Its general idea is to exploit the superior energy compaction and decorrelation properties of DCT to improve both model efficiency and accuracy. Specifically, it projects the weight change from the low-rank adaptation into the discrete cosine space. Then, the weight change is partitioned over different levels of the discrete cosine spectrum, and the most critical frequency components in each partition are selected. Extensive experiments on four benchmark datasets demonstrate the superior accuracy, reduced computational cost, and lower storage requirements of the proposed method over the prior arts. For instance, when performing instruction tuning on the LLaMA3.1-8B model, sDCTFT outperforms LoRA with just 0.05M trainable parameters compared to LoRA's 38.2M, and surpasses FourierFT with 30\% less trainable parameters. The source code will be publicly available.
• Abstract（参考訳）: 大規模言語モデルの時代には,パラメータ効率のよい微調整(PEFT)が広く研究されている。 しかしながら、これらのアプローチは、特に広範囲な適応やより大きなモデルを扱う場合、ストレージ上の問題に直面する空間領域に依存している。 対照的に周波数領域は、表現能力を維持しながらトレーニング可能なパラメータを圧縮するのにより効果的である。 本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (sDCTFT) のファインチューニング方式を提案する。 その一般的な考え方は、モデル効率と精度の両方を改善するために、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。 具体的には、低ランク適応から離散コサイン空間への重み変化を投影する。 次に、離散コサインスペクトルの異なるレベルに重み変化を分割し、各分割における最も臨界周波数成分を選択する。 4つのベンチマークデータセットに対する大規模な実験は、先行技術よりも精度が優れ、計算コストが低減し、提案手法の保存要求が低かったことを示している。 例えば、LLaMA3.1-8Bモデルでインストラクションチューニングを行う場合、sDCTFTはLoRAの38.2Mと比較してわずか0.05Mのトレーニング可能なパラメータで、FourierFTよりも30%少ないトレーニング可能なパラメータでパフォーマンスを向上する。 ソースコードは公開されます。

関連論文リスト

• Hyper Compressed Fine-Tuning of Large Foundation Models with Quantum Inspired Adapters [0.0]
  emphQuantum-Inspired Adaptersは、量子機械学習文学のハミング級量子回路にインスパイアされたPEFTアプローチである。 提案するアダプタは,ベンチマークデータセットに大規模言語モデルと大規模視覚変換器を適用して検証する。
  論文  参考訳（メタデータ） (2025-02-10T13:06:56Z)
• LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning [47.77830360814755]
  位置認識コサイン適応(LoCA)は離散逆コサイン変換(iDCT)に基づく新しい周波数領域パラメーター効率微調整法である 分析の結果,周波数領域を慎重に選択した周波数領域近似は,従来の低ランク手法の表現率を上回ることが判明した。 多様な言語および視覚的微調整タスクの実験は、LoCAが低ランク法に匹敵する計算能力を維持しながら、パラメータ効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-02-05T04:14:34Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。 IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Parameter-Efficient Fine-Tuning with Discrete Fourier Transform [26.563344030824414]
  ローランク適応(LoRA)は近年、微調整基礎モデルに多くの関心を集めている。 デルタW$を空間領域の行列として扱い、そのスペクトル係数のごく一部しか学習しないフーリエFTを導入する。 提案手法は,様々なタスクにおいてLoRAよりも少ないパラメータで同等あるいは優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-05T17:15:24Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。