Fugu-MT 論文翻訳(概要): BayesLoRA: Task-Specific Uncertainty in Low-Rank Adapters

論文の概要: BayesLoRA: Task-Specific Uncertainty in Low-Rank Adapters

arxiv url: http://arxiv.org/abs/2506.22809v1
Date: Sat, 28 Jun 2025 08:22:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-01 21:27:53.581436
Title: BayesLoRA: Task-Specific Uncertainty in Low-Rank Adapters
Title（参考訳）: BayesLoRA: 低ランクアダプタにおけるタスク特有の不確実性
Authors: Cooper Doyle,
Abstract要約: BayesLoRAは下流に調整されたガードレールを提供しており、不確実性の下での動作のイントロスペクションと調整を可能にする。数学的および実験的に、LoRAアダプタは微調整分布の外部に増幅された分散を示し、エージェントによる意思決定の信頼性を推定できることを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose BayesLoRA, a task-specific uncertainty quantification framework that integrates MC-Dropout into Low-Rank Adapters (LoRA). Unlike general-purpose transformer uncertainty methods, BayesLoRA provides guardrails tailored to downstream workflows, enabling agents to introspect and modulate behavior under uncertainty. We demonstrate mathematically and empirically that LoRA adapters exhibit amplified variance outside fine-tuning distributions, yielding reliable confidence estimates for agentic decision-making.
Abstract（参考訳）: 本稿では,MC-Dropoutをローランドアダプタ(LoRA)に統合したタスク固有不確実性定量化フレームワークであるBayesLoRAを提案する。汎用トランスフォーマーの不確実性法とは異なり、BayesLoRAは下流ワークフローに適したガードレールを提供しており、エージェントは不確実性の下での振る舞いをイントロスペクションし、調整することができる。我々は,LORAアダプタが微調整分布の外部に増幅された分散を示すことを数学的,実証的に証明し,エージェントによる意思決定の信頼性を推定する。

関連論文リスト

C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models [16.30304620457414]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するためのコスト効率の良いソリューションを提供する。 LoRAは、データスカースな数ショット設定で過信な予測を生成する。本研究では,新しい不確実性を認識し,パラメータを効率的に調整する手法として,コンテキスト低ランク適応(textbfC-LoRA)を提案する。
論文参考訳（メタデータ） (2025-05-23T11:44:02Z)
Interpretable Risk Mitigation in LLM Agent Systems [0.0]
反復囚人ジレンマの変動に基づくゲーム理論環境におけるエージェントの挙動を探索する。本稿では,スパースオートエンコーダの潜在空間から抽出した解釈可能な特徴を持つ残差ストリームを,ゲームとプロンプトの双方に依存しない戦略修正手法を提案する。
論文参考訳（メタデータ） (2025-05-15T19:22:11Z)
SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation [41.91948079316541]
近年の研究では、LoRAの微調整が大きな言語モデルの安全性を損なう可能性があるという懸念が持ち上がっている。本稿では,安全性に配慮した低ランク適応(SaLoRA)を提案する。以前のLoRAメソッドやその派生型とは異なり、SaLoRAは本来のアライメントを中断することなく、LLMへのターゲット変更を可能にする。実験の結果,SaLoRAは様々な微調整タスクにおいて,様々な評価指標のアダプタベースのアプローチよりも優れていることがわかった。
論文参考訳（メタデータ） (2025-01-03T11:34:28Z)
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文参考訳（メタデータ） (2024-12-03T07:25:30Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Meta-Learning Adversarial Bandits [49.094361442409785]
本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
論文参考訳（メタデータ） (2022-05-27T17:40:32Z)
Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。提案手法は下流タスクに有利な校正不確実性を生成する。
論文参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。