論文の概要: Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

• arxiv url: http://arxiv.org/abs/2606.00428v1
• Date: Fri, 29 May 2026 23:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.400243
• Title: Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
• Title（参考訳）: 低ランクPEFTのための有限パラメータステップ:CPテンソルアダプタを用いた制御された研究
• Abstract要約: 低ランクのアダプタは通常、少数のランクをクリアすることで比較されるが、ランクはパラメータの予算の解決も修正する。 本稿では, 細かなキャパシティを持つテンソル化アダプタが観測精度を変化させるかどうかを問う。
• 参考スコア（独自算出の注目度）: 31.80862489841239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adapters are usually compared by sweeping a small set of ranks, but the rank also fixes the resolution of the parameter budget. For a $2048{\times}2048$ OPT attention projection, increasing LoRA by one rank stores $4096$ trainable scalars, leaving large gaps between feasible low-budget adapter sizes. This paper asks whether a tensorized adapter with finer capacity increments changes the observed accuracy--budget trade-off. We instantiate this question with fixed-component canonical polyadic (CP) tensor adapters. Under a $32{\times}64{\times}32{\times}64$ tensorization, one normalized CP component stores $193$ trainable scalars per projection, about $21$ times smaller than one LoRA rank step. We compare CP adapters and LoRA on OPT-1.3B across SST-2, RTE, and BoolQ under matched target modules, training protocol, data caps, and seed schedules. CP trains stably and fills the gaps between LoRA ranks, but the effect is task-dependent: SST-2 reaches an early low-budget plateau, BoolQ benefits from additional CP components before saturating slightly below LoRA, and RTE remains LoRA-favored. Finer parameter steps are therefore useful for diagnosing PEFT budget sensitivity, but they do not by themselves guarantee a better accuracy--budget curve.
• Abstract（参考訳）: 低ランクのアダプタは通常、少数のランクをクリアすることで比較されるが、ランクはパラメータの予算の解決も修正する。 2048{\times}2048$ OPTアテンションプロジェクションのために、LoRAは1ランクで4096ドルのトレーニング可能なスカラーを格納し、実現可能な低予算のアダプタサイズの間に大きなギャップを残している。 本稿では, キャパシティを増量したテンソル化アダプタが, 観測精度-予算トレードオフを変化させるかどうかを問う。 固定成分カノニカルポリアディクス(CP)テンソルアダプタを用いてこの問題をインスタンス化する。 332{\times}64{\times}32{\times}64$tensorization(テンソル化)では、1つの正規化CPコンポーネントは1プロジェクションあたり193ドルのトレーニング可能なスカラーを格納する。 CPアダプタとOPT-1.3B上のLoRAを、一致したターゲットモジュール、トレーニングプロトコル、データキャップ、シードスケジュールの下でSST-2、RTE、BoolQで比較する。 SST-2は早期低予算の台地に達し、BoolQは追加のCP成分の恩恵を受け、LoRAより少し下は飽和し、RTEはLoRAに相応しいままである。 そのため、PEFTの予算感度を診断するためには、より正確なパラメータステップが有用であるが、それ自身はより正確な予算曲線を保証するわけではない。

関連論文リスト

• Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning [47.97857843162072]
  そこで本研究では,当初プルーニングのために開発されたサリエンシ信号が,モデルが適応すべき場所を選択するために再利用できるかどうかについて検討する。 我々は,小さなトレーニング可能なサポートを修正可能なスパースパラメータ効率細調整(PEFT)手法であるSuperを提案する。 次に、このスパースアップデートとLoRAを組み合わせたハイブリッドアダプタであるSupraを紹介します。
  論文  参考訳（メタデータ） (2026-07-10T10:55:28Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
  低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。 各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。 結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
  論文  参考訳（メタデータ） (2026-05-16T04:03:21Z)
• Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning [6.087223232267447]
  LoRAを用いた大規模モデルの微分プライベートな微調整は、LoRAの乗法構造に起因する凝集誤差に悩まされる。 3つの軸で定義される適応的フレームワークAS-LoRAを提案する(レイヤワイド自由度、ラウンドワイド適応度、曲率認識スコア)。 理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
  論文  参考訳（メタデータ） (2026-05-07T07:01:00Z)
• One-for-All: A Lightweight Stabilized and Parameter-Efficient Pre-trained LLM for Time Series Forecasting [4.364999214109123]
  One-for-Allは、時系列分析のためにトレーニング済みの大規模言語モデルを適用するためのフレームワークである。 rsLoRAは、低いランクでの証明可能な勾配安定性を可能にする数学的に基底的なランク安定化機構を導入している。 One-for-Allは最先端の効率と精度のトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-03-31T13:54:43Z)
• Adaptive Capacity Allocation for Vision Language Action Fine-tuning [30.782665306687992]
  視覚言語アクションモデル(VLA)は、物理AIにますます使われているが、未確認環境に事前訓練されたVLAモデルをデプロイするには、まだ適応が必要である。 固定ランク更新を入力および層単位のキャパシティに置き換えるランク適応微調整法であるLoRA-SPを提案する。 目に見えないAgileX PiPERのアームで収集された4つの実ロボット操作タスクでは、LoRA-SPはトレーニング可能なパラメータがはるかに少ない完全な微調整にマッチするか、超える。
  論文  参考訳（メタデータ） (2026-03-08T01:33:01Z)
• Low-rank variational dropout: Uncertainty and rank selection in adapters [0.0]
  BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、自然の単位は個々の重みではなく、アダプタの全ランクであることを示した。 BayesLoRA は、(i) がアダプタのみのモンテカルロサンプリングによって予測し、(ii) がARDスタイルのKL項を介して自動的に冗長な階数を自動的に生成する、という後部を定めている。
  論文  参考訳（メタデータ） (2025-06-28T08:22:02Z)
• WeightLoRA: Keep Only Necessary Adapters [76.32368157312477]
  低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。 我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。 我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
  論文  参考訳（メタデータ） (2025-06-03T10:33:16Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA [0.7252027234425334]
  PEFTの一般的な手法はLoRA(Lo-Rank Adapters)であり、選択した層にトレーニング可能な低ランクの"アダプタ"を追加する。 このスケーリング係数は、アダプタをランクの要素で分割するので、ローラの学習が遅くなり、上位のアダプタでスタントのパフォーマンスが低下する。 我々はLoRAを適切なスケーリング係数で修正し、微調整の計算/性能トレードオフを容易に提供します。
  論文  参考訳（メタデータ） (2023-11-28T03:23:20Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。