Fugu-MT 論文翻訳(概要): BayesLoRA: Task-Specific Uncertainty in Low-Rank Adapters

関連論文リスト

Towards Minimal Fine-Tuning of VLMs [59.01498204407219]
Image-LoRAは、トランスフォーマーベースの視覚言語モデルのための軽量パラメータ効率の良い微調整レシピである。 Image-LoRAは、視覚的なスパン内の注目層の値パスにのみ、低ランク適応を適用します。トレーニング可能なパラメータが少なく、アダプタのみのトレーニング FLOP は少ないが、標準のLoRAの精度と一致または密接に対応している。
論文参考訳（メタデータ） (2025-12-22T10:02:10Z)
LoFA: Learning to Predict Personalized Priors for Fast Adaptation of Visual Generative Models [50.46815266062554]
Low-Rank Adaptation (LoRA) は、タスク固有のデータと長い最適化の要求のため、実用的ではない。高速モデル適応のためのパーソナライズされた事前情報を効率的に予測する汎用フレームワークであるLoFAを提案する。提案手法は,複数のタスクやユーザプロンプトにまたがる,数秒以内の高品質なパーソナライズ前処理を常に予測し,処理時間を要する従来のLoRAよりも優れています。
論文参考訳（メタデータ） (2025-12-09T16:39:31Z)
DiffLoRA: Differential Low-Rank Adapters for Large Language Models [59.58987161199141]
本稿では,差分アテンション機構のパラメータ効率を考慮したDiffLoRAを提案する。我々はDiffLoRAを、一般的なベンチマーク、多ショットインコンテキスト学習、RAG、長期コンテキストテストなど、幅広いNLPタスクで評価する。
論文参考訳（メタデータ） (2025-07-31T14:24:59Z)
Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
PLoP: Precise LoRA Placement for Efficient Finetuning of Large Models [13.074320303580361]
Low-Rank Adaptation (LoRA) は大規模モデルに広く用いられている微調整法である。 PLoP(Precise LoRA Placement)は,アダプタの自動識別を実現する軽量な手法である。 PLoPは一貫して優れており、最悪の場合、一般的に使われている配置戦略と競合する。
論文参考訳（メタデータ） (2025-06-25T17:25:02Z)
FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
論文参考訳（メタデータ） (2025-05-31T10:27:08Z)
C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models [16.30304620457414]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するためのコスト効率の良いソリューションを提供する。 LoRAは、データスカースな数ショット設定で過信な予測を生成する。本研究では,新しい不確実性を認識し,パラメータを効率的に調整する手法として,コンテキスト低ランク適応(textbfC-LoRA)を提案する。
論文参考訳（メタデータ） (2025-05-23T11:44:02Z)
Interpretable Risk Mitigation in LLM Agent Systems [0.0]
反復囚人ジレンマの変動に基づくゲーム理論環境におけるエージェントの挙動を探索する。本稿では,スパースオートエンコーダの潜在空間から抽出した解釈可能な特徴を持つ残差ストリームを,ゲームとプロンプトの双方に依存しない戦略修正手法を提案する。
論文参考訳（メタデータ） (2025-05-15T19:22:11Z)
SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation [41.91948079316541]
近年の研究では、LoRAの微調整が大きな言語モデルの安全性を損なう可能性があるという懸念が持ち上がっている。本稿では,安全性に配慮した低ランク適応(SaLoRA)を提案する。以前のLoRAメソッドやその派生型とは異なり、SaLoRAは本来のアライメントを中断することなく、LLMへのターゲット変更を可能にする。実験の結果,SaLoRAは様々な微調整タスクにおいて,様々な評価指標のアダプタベースのアプローチよりも優れていることがわかった。
論文参考訳（メタデータ） (2025-01-03T11:34:28Z)
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文参考訳（メタデータ） (2024-12-03T07:25:30Z)
RILQ: Rank-Insensitive LoRA-based Quantization Error Compensation for Boosting 2-bit Large Language Model Accuracy [5.767260383077013]
低ランク適応(LoRA)がパラメータ効率のLLM微調整の主流となっている。 LoRAベースの量子化誤差補償(LQEC)は圧縮LDMの精度を回復するための強力なツールである。 RILQ(Rank-Insensitive LoRA-based Quantization Error Compensation)を提案する。
論文参考訳（メタデータ） (2024-12-02T05:09:56Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Low-Rank Adaptation Secretly Imitates Differentially Private SGD [5.359060261460183]
理論的には、低ランク適応はノイズの多いバッチ勾配を持つ微調整アダプタと等価である。また、入射雑音の分散を適応ランクの減少関数として定量化する。低ランク適応は、微調整データに対して、メンバシップ推論攻撃に対して堅牢性を提供する。
論文参考訳（メタデータ） (2024-09-26T04:56:49Z)
Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters [16.160749645651567]
本稿では,標準モデルの重量の1-2%を直接微調整し,その他をそのまま残すSparse High Rank Adapters (SHiRA)を提案する。この高分散性は、推論オーバーヘッドを発生させることなく、融合モードで直接切り替えることを可能にし、マルチアダプタ融合時の概念損失を著しく低減する。
論文参考訳（メタデータ） (2024-07-22T22:46:36Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)
Meta-Learning Adversarial Bandits [49.094361442409785]
本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
論文参考訳（メタデータ） (2022-05-27T17:40:32Z)
Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。提案手法は下流タスクに有利な校正不確実性を生成する。
論文参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

論文の概要: BayesLoRA: Task-Specific Uncertainty in Low-Rank Adapters

関連論文リスト