論文の概要: Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
- arxiv url: http://arxiv.org/abs/2506.21408v1
- Date: Thu, 26 Jun 2025 15:54:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 19:53:10.174553
- Title: Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
- Title（参考訳）: 確率的変分部分空間推論による大規模言語モデルのスケーラブルベイズ低ランク適応
- Authors: Colin Samplawski, Adam D. Cobb, Manoj Acharya, Ramneet Kaur, Susmit Jha,
- Abstract要約: 大規模言語モデル(LLM)は、誤った情報を幻覚し、校正が不十分であることが知られている。
変分部分空間推論(ScalaBL)によるtextbfScala$ayesian $textbfL$ow-Rankble Adaptationを提案する。
- 参考スコア（独自算出の注目度）: 14.062652973176723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their widespread use, large language models (LLMs) are known to hallucinate incorrect information and be poorly calibrated. This makes the uncertainty quantification of these models of critical importance, especially in high-stakes domains, such as autonomy and healthcare. Prior work has made Bayesian deep learning-based approaches to this problem more tractable by performing inference over the low-rank adaptation (LoRA) parameters of a fine-tuned model. While effective, these approaches struggle to scale to larger LLMs due to requiring further additional parameters compared to LoRA. In this work we present $\textbf{Scala}$ble $\textbf{B}$ayesian $\textbf{L}$ow-Rank Adaptation via Stochastic Variational Subspace Inference (ScalaBL). We perform Bayesian inference in an $r$-dimensional subspace, for LoRA rank $r$. By repurposing the LoRA parameters as projection matrices, we are able to map samples from this subspace into the full weight space of the LLM. This allows us to learn all the parameters of our approach using stochastic variational inference. Despite the low dimensionality of our subspace, we are able to achieve competitive performance with state-of-the-art approaches while only requiring ${\sim}1000$ additional parameters. Furthermore, it allows us to scale up to the largest Bayesian LLM to date, with four times as a many base parameters as prior work.
- Abstract（参考訳）: 広く使われているにもかかわらず、大きな言語モデル(LLM)は誤った情報を幻覚し、校正が不十分であることが知られている。
これにより、特に自律性や医療といった高い領域において、これらのモデルの重要度の不確実性が定量化される。
これまでの研究で、ベイジアンのディープラーニングに基づくアプローチは、微調整モデルのローランク適応(LoRA)パラメータよりも推論を行うことにより、より難易度を高めてきた。
有効ではあるが、これらのアプローチはLoRAと比較してさらなるパラメータを必要とするため、より大きなLLMにスケールするのに苦労する。
本稿では、Stochastic Variational Subspace Inference (ScalaBL) による $\textbf{Scala}$ble $\textbf{B}$ayesian $\textbf{L}$ow-Rank Adaptation を示す。
我々は、LoRA ランク $r$ に対して$r$-次元部分空間でベイズ推論を行う。
LoRAパラメータを射影行列として再利用することにより、この部分空間からのサンプルをLLMの全重み空間にマッピングすることができる。
これにより、確率的変分推論を用いて、我々のアプローチの全てのパラメータを学習することができる。
部分空間の低次元性にもかかわらず、我々は、${\sim}1000$以上のパラメータしか必要とせず、最先端のアプローチと競合する性能を達成することができる。
さらに、これまでの作業の4倍の基底パラメータを持つ最大ベイズLDMまでスケールアップすることが可能である。
関連論文リスト
- Uni-LoRA: One Vector is All You Need [13.938834666101679]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。
本稿では,これらの LoRA 変種が用いたパラメータ空間削減戦略を統一的な枠組みで定式化できることを示す。
Uni-LoRAの統一的なビューの下では、LLM全体のLoRAパラメータを再構築するためには、単一のトレーニング可能なベクトルしか必要としない。
論文 参考訳（メタデータ） (2025-06-01T03:00:09Z) - SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model [11.90104174705911]
低ランク行列を相互接続するための低ランク適応(LoRA)の拡張であるSSMLoRA(State Space Model Low-Rank Adaptation)を提案する。
本手法は一般言語評価(GLUE)ベンチマークでLoRAに匹敵する性能を達成し,パラメータの半分しか使用していない。
論文 参考訳（メタデータ） (2025-02-07T14:22:35Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。
特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。
我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文 参考訳（メタデータ） (2024-10-28T17:14:01Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。
本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。
トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。
双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
論文 参考訳（メタデータ） (2024-10-05T02:58:25Z) - Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。
近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。
本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
論文 参考訳（メタデータ） (2024-06-13T07:57:27Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳（メタデータ） (2024-01-29T18:43:49Z) - Hyperparameter Optimization for Large Language Model Instruction-Tuning [6.743825167463901]
トレーニング済みLLMをブラックボックスとして微調整と検証を行うパイプライン全体について検討する。
本研究では,提案アルゴリズムを用いて高次パラメータの空間を効率的に探索し,チューニングモデルの性能向上と人為的アライメントを実現する。
論文 参考訳（メタデータ） (2023-12-01T22:03:12Z) - LoRA ensembles for large language model fine-tuning [35.78186948630364]
Low-Rank Adapters (LoRA) はパラメータ効率の良い微調整技術である。
LoRAは非常に少数のパラメータを表しており、基礎となる事前訓練モデルよりも桁違いに少ない。
LoRAアンサンブルは,既存の正則化技術上にのみ適用され,予測精度と不確実性の定量化に一貫した改善をもたらすことが判明した。
論文 参考訳（メタデータ） (2023-09-29T16:38:38Z) - Bayesian Low-rank Adaptation for Large Language Models [28.86048553596652]
低ランク適応(LoRA)は、大規模言語モデル(LLM)のコスト効率の高い微調整のための新しいパラダイムとして登場した。
本稿では,LoRAパラメータにベイズ的アプローチを適用するLaplace-LoRAを紹介する。
論文 参考訳（メタデータ） (2023-08-24T23:06:21Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-03-18T22:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。