Fugu-MT 論文翻訳(概要): A Bayesian Interpretation of Adaptive Low-Rank Adaptation

論文の概要: A Bayesian Interpretation of Adaptive Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2409.10673v1
Date: Mon, 16 Sep 2024 19:14:35 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 18:50:48.039597
Title: A Bayesian Interpretation of Adaptive Low-Rank Adaptation
Title（参考訳）: 適応型低ランク適応のベイズ解釈
Authors: Haolin Chen, Philip N. Garner,
Abstract要約: 我々は適応型低ランク適応(AdaLoRA)の感度に基づく重要度スコアによって動機付けられている。我々は、適応パラメータの予算配分に、SNR(Signal-to-noise ratio)やIVON( Improved Variational Online Newton)など、より理論的に支持された指標を利用する。
参考スコア（独自算出の注目度）: 10.559392015748989
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Motivated by the sensitivity-based importance score of the adaptive low-rank adaptation (AdaLoRA), we utilize more theoretically supported metrics, including the signal-to-noise ratio (SNR), along with the Improved Variational Online Newton (IVON) optimizer, for adaptive parameter budget allocation. The resulting Bayesian counterpart not only has matched or surpassed the performance of using the sensitivity-based importance metric but is also a faster alternative to AdaLoRA with Adam. Our theoretical analysis reveals a significant connection between the two metrics, providing a Bayesian perspective on the efficacy of sensitivity as an importance score. Furthermore, our findings suggest that the magnitude, rather than the variance, is the primary indicator of the importance of parameters.
Abstract（参考訳）: 適応型低ランク適応(AdaLoRA)の感度に基づく重要度スコアにより、適応型パラメータ予算配分のための改良型変分オンラインニュートン(IVON)オプティマイザとともに、信号対雑音比(SNR)を含むより理論的に支持された指標を利用する。その結果得られたベイズ対応は、感度ベースの重要度基準を使用する性能と一致または上回っただけでなく、AdamとAdaLoRAの高速な代替手段でもある。この2つの指標の間に有意な関係が明らかとなり,感度の有効性を重要視するベイズ的視点が得られた。さらに, パラメータの重要性の指標として, ばらつきではなく, 大きさが重要であることが示唆された。

関連論文リスト

Rethinking Reward Model Evaluation: Are We Barking up the Wrong Tree? [46.396681032860414]
RMの精度の違いが、最適化されたポリシー性能のギャップにどのように変換されるかを検討する。精度の測定方法が最終的な政策性能を予測する能力に大きく影響していることが判明した。
論文参考訳（メタデータ） (2024-10-08T00:52:03Z)
Enhancing Accuracy and Parameter-Efficiency of Neural Representations for Network Parameterization [23.72263341256432]
予測器ネットワークを用いたニューラルネットワーク重みのパラメータ化における精度とパラメータ効率に関する基本的なトレードオフについて検討する。従来のモデル精度の回復が唯一の目的である場合、重量復元目的だけで効果的に達成できるという驚くべき発見を提示する。
論文参考訳（メタデータ） (2024-06-29T08:07:39Z)
Global Sensitivity Analysis of Uncertain Parameters in Bayesian Networks [4.404496835736175]
我々は,大域的分散に基づくパラメータの感度分析を行う。我々の方法は不確実性をネットワークの$n$追加変数としてエンコードすることで機能する。最後に、結果のネットワークにSobolの手法を適用して、グローバルな感度指標を$n$とする。
論文参考訳（メタデータ） (2024-06-09T12:36:38Z)
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
Robustness of Energy Landscape Control to Dephasing [0.0]
対数感度関数によって測定された忠実度誤差のロバストさを,デフォーカスプロセスに解析する。本研究で用いたログ感度計算は異なるが, どちらも, 重み付け誤差の対数感度が従来の性能とロバスト性とのトレードオフをもたらすことを示した。
論文参考訳（メタデータ） (2023-03-10T01:51:47Z)
Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
論文参考訳（メタデータ） (2022-10-12T23:39:28Z)
Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文参考訳（メタデータ） (2022-09-27T07:58:25Z)
Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
論文参考訳（メタデータ） (2022-09-18T10:29:02Z)
No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
論文参考訳（メタデータ） (2022-02-06T00:22:28Z)
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文参考訳（メタデータ） (2021-06-30T11:00:24Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。