論文の概要: Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2607.02182v1
• Date: Thu, 02 Jul 2026 13:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.861274
• Title: Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
• Title（参考訳）: 大規模言語モデル不確かさ推定のためのベイズスパース低ランク適応
• Abstract要約: 大規模言語モデル(LLM)は顕著な推論能力を示すが、タスク固有の微調整は自信過剰に悩まされている。 本研究では、高密度パラメータ空間から低ランク適応(LoRA)の軽量ランクレベルへの不確実性のパラダイムをシフトさせる、単純かつ効果的なベイズスパースフレームワークであるData-Adaptive Lower-Rank Adaptation (DALorRA)を提案する。 LoRAは、過剰なモデルのキャパシティを提供する可能性のある複数のランク1コンポーネントを集約するという考えから、DALorRAはランク次元にマスキングを課し、トレーニング中のモデルのキャパシティの正規化と推論時のアンサンブルのようなキャリブレーションを可能にする。
• 参考スコア（独自算出の注目度）: 14.828620034157316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit remarkable reasoning capabilities, but their task-specific fine-tuning is notoriously plagued by overconfidence, severely hindering trustworthy deployment. We propose Data-Adaptive Lower-Rank Adaptation (DALorRA), a simple and effective variational Bayesian sparse framework that shifts the paradigm of uncertainty quantification from the dense parameter space to the lightweight rank level of low-rank adaptation (LoRA). With the insight that LoRA essentially aggregates multiple rank-one components that may provide superfluous model capacity, DALorRA imposes stochastic masking on rank dimensions, enabling Bayesian regularization of model capacity during training and ensemble-like calibration during inference. Extensive experiments demonstrate DALorRA's excellent calibration of LLMs without compromising reasoning accuracy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な推論能力を示すが、タスク固有の微調整は、過度な自信に悩まされ、信頼性の高いデプロイメントを著しく妨げている。 本研究では,不確実性定量化のパラダイムを高密度パラメータ空間から低ランク適応の軽量ランクレベル(LoRA)にシフトさせる,単純かつ効果的なベイズ分散フレームワークであるData-Adaptive Lower-Rank Adaptation (DALorRA)を提案する。 LoRAは、複数のランク1成分を集約し、過剰なモデルキャパシティを提供するという洞察により、DALorRAは階数次元に確率的なマスキングを課し、トレーニング中のモデルキャパシティのベイズ正規化と推論時のアンサンブルのようなキャリブレーションを可能にする。 大規模な実験では、DALorRAのLDMのキャリブレーションが、推論精度を損なうことなく優れていることが示されている。

関連論文リスト

• BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [40.998095775740886]
  低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、非常に効率的な微調整を可能にする。 パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークであるBaRAを提案する。 BaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することで適応能力を動的に割り当てる。
  論文  参考訳（メタデータ） (2026-06-28T04:08:09Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models [28.056597124418104]
  Low-Rank Adaptation (LoRA) は計算コストを削減した大規模事前学習モデルの標準となっている。 BaLoRAは、訓練されたLoRAモデルのアンサンブルよりもモデルエラーと強く相関するゼロショットテスト時間不確実性推定を生成する。
  論文  参考訳（メタデータ） (2026-04-27T18:19:31Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Bayesian-LoRA: Probabilistic Low-Rank Adaptation of Large Language Models [5.653755499165773]
  本稿では,Sparse Gaussian Processesにインスパイアされた確率的低ランク表現として,決定論的LoRA更新を再構成するBayesian-LoRAを紹介する。 約0.42Mの追加パラメータと$approx1.2timesのトレーニングコストを標準のLoRAと比較すると、Bayesian-LoRAは最大30Bまでのモデルのキャリブレーションを大幅に改善した。
  論文  参考訳（メタデータ） (2026-01-28T19:54:31Z)
• C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models [19.55798373491983]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するためのコスト効率の良いソリューションを提供する。 LoRAは、データスカースな数ショット設定で過信な予測を生成する。 本稿では,新しい不確実性を認識し,パラメータを効率的に調整する手法として,コンテキスト低ランク適応(C-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T11:44:02Z)
• Minimal Ranks, Maximum Confidence: Parameter-efficient Uncertainty Quantification for LoRA [9.114051379014429]
  Low-Rank Adaptation (LoRA)は、重み更新を低ランク行列に分解することで、大きな言語モデルのパラメータ効率の良い微調整を可能にする。 LoRAは不確実性の定量化のメカニズムが欠如しており、過度に自信を持ち、校正が不十分なモデルに繋がる。 超低次元パラメータ空間において有効不確実性定量化が達成可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-17T18:46:29Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。