論文の概要: TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2501.08008v1
• Date: Tue, 14 Jan 2025 10:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:14.760322
• Title: TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
• Title（参考訳）: TriAdaptLoRA:パラメータ効率の良い微調整のための脳誘発三角形適応型低ランク適応
• Authors: Yao Liang, Yuwei Wang, Yi Zeng,
• Abstract要約: 様々な下流タスクで最適なパフォーマンスを達成するために、微調整の大規模言語モデル(LLM)が重要である。 本稿では,神経科学の原理に触発された新しいPEFTフレームワークであるAdaptive Low-Rank Adaptation (TriAdaptLoRA)を提案する。 様々な自然言語理解および生成タスクの実験は、TriAdaptLoRAが既存のPEFT法より一貫して優れていることを示した。
• 参考スコア（独自算出の注目度）: 9.730075039461154
• License:
• Abstract: The fine-tuning of Large Language Models (LLMs) is pivotal for achieving optimal performance across diverse downstream tasks. However, while full fine-tuning delivers superior results, it entails significant computational and resource costs. Parameter-Efficient Fine-Tuning (PEFT) methods, such as LoRA, address these challenges by reducing the number of trainable parameters, but they often struggle with rank adjustment efficiency and task-specific adaptability. We propose Triangular Adaptive Low-Rank Adaptation (TriAdaptLoRA), a novel PEFT framework inspired by neuroscience principles, which dynamically optimizes the allocation of trainable parameters. TriAdaptLoRA introduces three key innovations: 1) a triangular split of transformation matrices into lower and upper triangular components to maximize parameter utilization, 2) a parameter importance metric based on normalized Frobenius norms for efficient adaptation, and 3) an adaptive rank-growth strategy governed by dynamic thresholds, allowing flexible parameter allocation across training steps. Experiments conducted on a variety of natural language understanding and generation tasks demonstrate that TriAdaptLoRA consistently outperforms existing PEFT methods. It achieves superior performance, enhanced stability, and reduced computational overhead, particularly under linear threshold-driven rank growth. These results highlight its efficacy as a scalable and resource-efficient solution for fine-tuning LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の微調整は、様々な下流タスクで最適なパフォーマンスを達成するために重要である。 しかし、完全な微調整は優れた結果をもたらすが、計算とリソースのコストがかなりかかる。 LoRAのようなパラメータ効率の良い細調整(PEFT)手法は、トレーニング可能なパラメータの数を減らしてこれらの課題に対処するが、ランク調整効率とタスク固有の適応性に苦慮することが多い。 本稿では,学習可能なパラメータの割り当てを動的に最適化する,神経科学の原理に触発された新しいPEFTフレームワークであるTriAdaptLoRAを提案する。 TriAdaptLoRAは3つの重要なイノベーションを紹介している。 1) パラメータ利用を最大化するために, 変換行列を上下の三角形成分に分割する。 2) 効率的な適応のための正規化フロベニウスノルムに基づくパラメータ重要度計量 3) 動的しきい値に支配される適応的なランク成長戦略により, トレーニング段階間での柔軟なパラメータ割り当てが可能となった。 様々な自然言語理解および生成タスクの実験は、TriAdaptLoRAが既存のPEFT法より一貫して優れていることを示した。 これは、特に線形しきい値駆動のランク成長の下で、優れた性能、安定性の向上、計算オーバーヘッドの低減を実現している。 これらの結果から,LLMのスケーラブルで資源効率のよいソリューションとしての有効性が示された。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• 3-in-1: 2D Rotary Adaptation for Efficient Finetuning, Efficient Batching and Composability [6.451743797015637]
  大規模言語モデル (LLM) に適応するために, 簡単な2次元回転を用いた新しい手法RoAdを導入する。 RoAdはパラメータ効率が非常に高く、8つの常識推論タスク、4つの算術推論タスクと0.1%のトレーニング可能なパラメータを提供する。
  論文  参考訳（メタデータ） (2024-08-28T08:45:29Z)
• Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
  本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。 2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
  論文  参考訳（メタデータ） (2024-06-05T08:26:44Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning [11.037221461758806]
  マトリックス変換に基づく低ランク適応(MTLoRA)は、脳の機能はその幾何学的構造によって形成されるという考えから着想を得ている。 MTLoRAは8つのタスクでパフォーマンスが約1.0%向上する。
  論文  参考訳（メタデータ） (2024-03-12T09:32:25Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。