論文の概要: GiVA: Gradient-Informed Bases for Vector-Based Adaptation

• arxiv url: http://arxiv.org/abs/2604.21901v1
• Date: Thu, 23 Apr 2026 17:48:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.801852
• Title: GiVA: Gradient-Informed Bases for Vector-Based Adaptation
• Title（参考訳）: GiVA: ベクトルベースの適応のためのグラディエントインフォームベース
• Authors: Neeraj Gangwar, Rishabh Deshmukh, Michael Shavlovsky, Hancao Li, Vivek Mittal, Lexing Ying, Nickvash Kani,
• Abstract要約: GiVAは、ベクトルベースの適応のための勾配ベースの戦略である。 LoRAに匹敵する訓練時間を達成し、ベクトルベースの適応の極端なパラメータ効率を維持する。
• 参考スコア（独自算出の注目度）: 12.153210443259178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As model sizes continue to grow, parameter-efficient fine-tuning has emerged as a powerful alternative to full fine-tuning. While LoRA is widely adopted among these methods, recent research has explored vector-based adaptation methods due to their extreme parameter efficiency. However, these methods typically require substantially higher ranks than LoRA to match its performance, leading to increased training costs. This work introduces GiVA, a gradient-based initialization strategy for vector-based adaptation. It achieves training times comparable to LoRA and maintains the extreme parameter efficiency of vector-based adaptation. We evaluate GiVA across diverse benchmarks, including natural language understanding, natural language generation, and image classification. Experiments show that our approach consistently outperforms or achieves performance competitive with existing vector-based adaptation methods and LoRA while reducing rank requirements by a factor of eight ($8\times$).
• Abstract（参考訳）: モデルのサイズが拡大するにつれて、パラメータ効率の良い微調整が完全な微調整の強力な代替品として登場した。 LoRAはこれらの手法に広く採用されているが、最近の研究では、その極端なパラメータ効率のため、ベクトルベースの適応法が検討されている。 しかしながら、これらの手法は性能に合わせるために通常LoRAよりも格段に高いランクを必要とするため、訓練コストが増大する。 この研究は、ベクトルベースの適応のための勾配に基づく初期化戦略であるGiVAを導入している。 LoRAに匹敵する訓練時間を達成し、ベクトルベースの適応の極端なパラメータ効率を維持する。 自然言語理解,自然言語生成,画像分類など,さまざまなベンチマークでGIVAを評価する。 実験の結果,提案手法は既存のベクトルベース適応法やLoRAと一貫した性能向上や性能向上を実現し,ランク要件を8ドル(約890円)程度削減できることがわかった。

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation [9.048461365342204]
  大規模言語モデル(LLM)のための新しいPEFT法であるOSoRAを提案する。 OSoRAは、微調整中にトレーニング可能なパラメータの数を最小化することで、計算リソースの要求を大幅に削減する。 数学的推論、常識推論、その他のベンチマークの総合的な評価は、OSoRAが最先端の手法と同等または優れた性能を達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-20T13:34:06Z)
• ElaLoRA: Elastic & Learnable Low-Rank Adaptation for Efficient Model Fine-Tuning [6.657174308208715]
  ElaLoRA は適応的な低ランク適応フレームワークであり、勾配依存の重要度スコアに基づいて動的に順応し、ランクを拡大する。 ElaLoRAは、異なるパラメータ予算で既存のPEFTメソッドを一貫して上回っている。 原則的かつ適応的なランク割り当て機構を導入することで、ElaLoRAはスケーラブルで効率的な微調整ソリューションを提供する。
  論文  参考訳（メタデータ） (2025-03-31T21:58:25Z)
• GoRA: Gradient-driven Adaptive Low Rank Adaptation [13.088526045902016]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を効率的に微調整するための重要な手法である。 本稿では,GoRA(Adaptive Low Rank Adaptation)とGoRA(Adaptive Low Rank Adaptation)というフレームワークを提案する。 GoRAは、バニラロラの効率を保ちながら、既存のLoRAベースの手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-02-13T10:33:58Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。