Fugu-MT 論文翻訳(概要): Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models

論文の概要: Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models

arxiv url: http://arxiv.org/abs/2405.03425v2
Date: Sat, 20 Jul 2024 04:36:27 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 01:41:25.069847
Title: Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models
Title（参考訳）: 大規模言語モデルのベイジアン低ランク適応のためのガウス確率重み平均化
Authors: Emre Onal, Klemens Flöge, Emma Caldwell, Arsen Sheverdin, Vincent Fortuin,
Abstract要約: 細調整された大規模言語モデル(LLM)は、しばしば過剰な自信とキャリブレーションに悩まされる。本稿では,Low-Rank Adaptation (LoRA) とGaussian Weight Averaging (SWAG) を組み合わせた簡単な組み合わせを提案する。本手法は,配電系統における配電系統の性能向上を反映して,配電系統の配電系統変更に対するロバスト性が高いことを示す。
参考スコア（独自算出の注目度）: 5.352221132808875
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuned Large Language Models (LLMs) often suffer from overconfidence and poor calibration, particularly when fine-tuned on small datasets. To address these challenges, we propose a simple combination of Low-Rank Adaptation (LoRA) with Gaussian Stochastic Weight Averaging (SWAG), facilitating approximate Bayesian inference in LLMs. Through extensive testing across several Natural Language Processing (NLP) benchmarks, we demonstrate that our straightforward and computationally efficient approach improves model generalization and calibration competitively with comparable, more sophisticated methods for Bayesian inference in LLMs. We further show that our method exhibits greater robustness against distribution shift, as reflected in its improved performance on out-of-distribution tasks.
Abstract（参考訳）: 微調整された大規模言語モデル(LLM)は、特に小さなデータセットで微調整された場合、過信とキャリブレーションに悩まされることが多い。これらの課題に対処するために,Low-Rank Adaptation (LoRA) と Gaussian Stochastic Weight Averaging (SWAG) を組み合わせた簡単な組み合わせを提案する。複数の自然言語処理(NLP)ベンチマークの広範なテストを通じて、我々の単純で効率的なアプローチはモデル一般化とキャリブレーションをLLMにおけるベイズ推論に匹敵する、より洗練された手法と競合的に改善することを示した。さらに,本手法は分布シフトに対するロバスト性が向上し,分布外タスクの性能が向上することが示唆された。

関連論文リスト

Diversified Sampling Improves Scaling LLM inference [31.18762591875725]
DivSamplingは、候補解の多様性を高めるために設計された、斬新で多用途なサンプリング技術である。理論解析により, 微妙な仮定の下では, 種々のプロンプトから発生する応答の誤り率は, 定常プロンプトによる応答よりも有意に低いことが示された。
論文参考訳（メタデータ） (2025-02-16T07:37:58Z)
RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文参考訳（メタデータ） (2025-01-15T04:09:21Z)
Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-11T17:01:43Z)
GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
論文参考訳（メタデータ） (2024-08-27T14:41:14Z)
Regression-aware Inference with LLMs [52.764328080398805]
提案手法は,一般的な回帰と評価指標に準最適であることを示す。本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
論文参考訳（メタデータ） (2024-03-07T03:24:34Z)
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文参考訳（メタデータ） (2022-02-25T21:21:51Z)
Scalable Cross Validation Losses for Gaussian Process Models [22.204619587725208]
線形および多クラス分類に適応するために,Polya-Gamma補助変数と変分推論を用いる。提案手法は,高速トレーニングと優れた予測性能を実現する。
論文参考訳（メタデータ） (2021-05-24T21:01:47Z)
Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
論文参考訳（メタデータ） (2020-06-12T22:03:25Z)
Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
論文参考訳（メタデータ） (2020-03-06T08:53:18Z)
Bayesian Neural Networks With Maximum Mean Discrepancy Regularization [13.97417198693205]
画像分類タスクを含む複数のベンチマークにおいて,BNNの精度が向上することを示す。また, ある予測に対する不確実性を推定するための新しい定式化を行い, 敵の攻撃に対してより堅牢な行動を示す。
論文参考訳（メタデータ） (2020-03-02T14:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。