論文の概要: Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference

• arxiv url: http://arxiv.org/abs/2506.21408v1
• Date: Thu, 26 Jun 2025 15:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.174553
• Title: Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
• Title（参考訳）: 確率的変分部分空間推論による大規模言語モデルのスケーラブルベイズ低ランク適応
• Authors: Colin Samplawski, Adam D. Cobb, Manoj Acharya, Ramneet Kaur, Susmit Jha,
• Abstract要約: 大規模言語モデル(LLM)は、誤った情報を幻覚し、校正が不十分であることが知られている。 変分部分空間推論(ScalaBL)によるtextbfScala$ayesian $textbfL$ow-Rankble Adaptationを提案する。
• 参考スコア（独自算出の注目度）: 14.062652973176723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their widespread use, large language models (LLMs) are known to hallucinate incorrect information and be poorly calibrated. This makes the uncertainty quantification of these models of critical importance, especially in high-stakes domains, such as autonomy and healthcare. Prior work has made Bayesian deep learning-based approaches to this problem more tractable by performing inference over the low-rank adaptation (LoRA) parameters of a fine-tuned model. While effective, these approaches struggle to scale to larger LLMs due to requiring further additional parameters compared to LoRA. In this work we present $\textbf{Scala}$ble $\textbf{B}$ayesian $\textbf{L}$ow-Rank Adaptation via Stochastic Variational Subspace Inference (ScalaBL). We perform Bayesian inference in an $r$-dimensional subspace, for LoRA rank $r$. By repurposing the LoRA parameters as projection matrices, we are able to map samples from this subspace into the full weight space of the LLM. This allows us to learn all the parameters of our approach using stochastic variational inference. Despite the low dimensionality of our subspace, we are able to achieve competitive performance with state-of-the-art approaches while only requiring ${\sim}1000$ additional parameters. Furthermore, it allows us to scale up to the largest Bayesian LLM to date, with four times as a many base parameters as prior work.
• Abstract（参考訳）: 広く使われているにもかかわらず、大きな言語モデル(LLM)は誤った情報を幻覚し、校正が不十分であることが知られている。 これにより、特に自律性や医療といった高い領域において、これらのモデルの重要度の不確実性が定量化される。 これまでの研究で、ベイジアンのディープラーニングに基づくアプローチは、微調整モデルのローランク適応(LoRA)パラメータよりも推論を行うことにより、より難易度を高めてきた。 有効ではあるが、これらのアプローチはLoRAと比較してさらなるパラメータを必要とするため、より大きなLLMにスケールするのに苦労する。 本稿では、Stochastic Variational Subspace Inference (ScalaBL) による $\textbf{Scala}$ble $\textbf{B}$ayesian $\textbf{L}$ow-Rank Adaptation を示す。 我々は、LoRA ランク $r$ に対して$r$-次元部分空間でベイズ推論を行う。 LoRAパラメータを射影行列として再利用することにより、この部分空間からのサンプルをLLMの全重み空間にマッピングすることができる。 これにより、確率的変分推論を用いて、我々のアプローチの全てのパラメータを学習することができる。 部分空間の低次元性にもかかわらず、我々は、${\sim}1000$以上のパラメータしか必要とせず、最先端のアプローチと競合する性能を達成することができる。 さらに、これまでの作業の4倍の基底パラメータを持つ最大ベイズLDMまでスケールアップすることが可能である。

関連論文リスト

• Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
  本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。 トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。 双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
  論文  参考訳（メタデータ） (2024-10-05T02:58:25Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• LoRA ensembles for large language model fine-tuning [35.78186948630364]
  Low-Rank Adapters (LoRA) はパラメータ効率の良い微調整技術である。 LoRAは非常に少数のパラメータを表しており、基礎となる事前訓練モデルよりも桁違いに少ない。 LoRAアンサンブルは,既存の正則化技術上にのみ適用され,予測精度と不確実性の定量化に一貫した改善をもたらすことが判明した。
  論文  参考訳（メタデータ） (2023-09-29T16:38:38Z)
• Bayesian Low-rank Adaptation for Large Language Models [28.86048553596652]
  低ランク適応(LoRA)は、大規模言語モデル(LLM)のコスト効率の高い微調整のための新しいパラダイムとして登場した。 本稿では,LoRAパラメータにベイズ的アプローチを適用するLaplace-LoRAを紹介する。
  論文  参考訳（メタデータ） (2023-08-24T23:06:21Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。