論文の概要: LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2502.06820v1
• Date: Wed, 05 Feb 2025 04:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:43.642667
• Title: LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning
• Title（参考訳）: LoCA:パラメータ効率の良いファインチューニングのための位置認識コサイン適応
• Authors: Zhekai Du, Yinjie Min, Jingjing Li, Ke Lu, Changliang Zou, Liuhua Peng, Tingjin Chu, Mingming Gong,
• Abstract要約: 位置認識コサイン適応(LoCA)は離散逆コサイン変換(iDCT)に基づく新しい周波数領域パラメーター効率微調整法である 分析の結果,周波数領域を慎重に選択した周波数領域近似は,従来の低ランク手法の表現率を上回ることが判明した。 多様な言語および視覚的微調整タスクの実験は、LoCAが低ランク法に匹敵する計算能力を維持しながら、パラメータ効率を向上することを示した。
• 参考スコア（独自算出の注目度）: 47.77830360814755
• License:
• Abstract: Low-rank adaptation (LoRA) has become a prevalent method for adapting pre-trained large language models to downstream tasks. However, the simple low-rank decomposition form may constrain the hypothesis space. To address this limitation, we introduce Location-aware Cosine Adaptation (LoCA), a novel frequency-domain parameter-efficient fine-tuning method based on inverse Discrete Cosine Transform (iDCT) with selective locations of learnable components. We begin with a comprehensive theoretical comparison between frequency-domain and low-rank decompositions for fine-tuning pre-trained large models. Our analysis reveals that frequency-domain approximation with carefully selected frequency components can surpass the expressivity of traditional low-rank-based methods. Furthermore, we demonstrate that iDCT offers a more efficient implementation compared to inverse Discrete Fourier Transform (iDFT), allowing for better selection and tuning of frequency components while maintaining equivalent expressivity to the optimal iDFT-based adaptation. By employing finite-difference approximation to estimate gradients for discrete locations of learnable coefficients on the DCT spectrum, LoCA dynamically selects the most informative frequency components during training. Experiments on diverse language and vision fine-tuning tasks demonstrate that LoCA offers enhanced parameter efficiency while maintains computational feasibility comparable to low-rank-based methods.
• Abstract（参考訳）: 低ランク適応(LoRA)は、訓練済みの大規模言語モデルを下流タスクに適応させる一般的な方法となっている。 しかし、単純な低ランク分解形式は仮説空間を制約することができる。 この制限に対処するために、逆離散コサイン変換(iDCT)に基づく新しい周波数領域パラメーター効率の微調整法であるLoCA(Location-aware Cosine Adaptation)を導入する。 まず、微調整済み大規模モデルに対する周波数領域と低ランク分解の包括的理論的比較から始める。 分析の結果,周波数領域を慎重に選択した周波数領域近似は,従来の低ランク手法の表現率を上回ることが判明した。 さらに、iDCTは、逆離散フーリエ変換(iDFT)よりも効率的な実装を提供し、最適なiDFTに基づく適応に等価な表現性を維持しつつ、周波数成分の選択とチューニングを向上できることを示した。 有限差分近似を用いてDCTスペクトル上の学習可能係数の離散的な位置の勾配を推定することにより、LoCAはトレーニング中に最も情報性の高い周波数成分を動的に選択する。 多様な言語および視覚的微調整タスクの実験は、LoCAが低ランク法に匹敵する計算能力を維持しながら、パラメータ効率を向上することを示した。

関連論文リスト

• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform [10.565509997395504]
  本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (SDCTFT) を提案する。 その一般的な考え方は、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。 4つのベンチマークデータセットの実験では、より優れた精度、計算コストの削減、ストレージ要求の低減が示されている。
  論文  参考訳（メタデータ） (2024-10-09T16:07:42Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Frequency Domain-based Dataset Distillation [17.02955182740882]
  本稿では,データセット蒸留のための新しいパラメータ化手法であるFreDを提案する。 FreDは周波数ベースの変換を使用して、各データインスタンスの周波数表現を最適化する。
  論文  参考訳（メタデータ） (2023-11-15T09:46:30Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。