論文の概要: LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks
- arxiv url: http://arxiv.org/abs/2405.14438v1
- Date: Thu, 23 May 2024 11:10:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 15:34:33.755359
- Title: LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks
- Title（参考訳）: LoRA-Ensemble: 自己注意ネットワークのための効率的な不確実性モデリング
- Authors: Michelle Halbheer, Dominik J. Mühlematter, Alexander Becker, Dominik Narnhofer, Helge Aasen, Konrad Schindler, Mehmet Ozgur Turkoglu,
- Abstract要約: 本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
- 参考スコア（独自算出の注目度）: 52.46420522934253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Numerous crucial tasks in real-world decision-making rely on machine learning algorithms with calibrated uncertainty estimates. However, modern methods often yield overconfident and uncalibrated predictions. Various approaches involve training an ensemble of separate models to quantify the uncertainty related to the model itself, known as epistemic uncertainty. In an explicit implementation, the ensemble approach has high computational cost and high memory requirements. This particular challenge is evident in state-of-the-art neural networks such as transformers, where even a single network is already demanding in terms of compute and memory. Consequently, efforts are made to emulate the ensemble model without actually instantiating separate ensemble members, referred to as implicit ensembling. We introduce LoRA-Ensemble, a parameter-efficient deep ensemble method for self-attention networks, which is based on Low-Rank Adaptation (LoRA). Initially developed for efficient LLM fine-tuning, we extend LoRA to an implicit ensembling approach. By employing a single pre-trained self-attention network with weights shared across all members, we train member-specific low-rank matrices for the attention projections. Our method exhibits superior calibration compared to explicit ensembles and achieves similar or better accuracy across various prediction tasks and datasets.
- Abstract（参考訳）: 現実世界の意思決定における多くの重要なタスクは、不確実性推定を校正した機械学習アルゴリズムに依存している。
しかし、近代的な手法は、しばしば過信で不合理な予測をもたらす。
様々なアプローチは、疫学的な不確実性として知られるモデル自体に関する不確実性を定量化するために、別々のモデルのアンサンブルを訓練することを含む。
明示的な実装では、アンサンブルアプローチは高い計算コストと高いメモリ要求を有する。
この課題は、トランスフォーマーのような最先端のニューラルネットワークにおいて明らかであり、単一のネットワークでさえすでに計算とメモリの面で要求されている。
その結果、暗黙のアンサンブルと呼ばれる別のアンサンブルメンバーを実際にインスタンス化することなく、アンサンブルモデルをエミュレートする努力がなされる。
本稿では,Low-Rank Adaptation (LoRA)に基づく自己アテンションネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
LLMファインチューニングのために開発されたLoRAを,暗黙のアンサンブルアプローチに拡張する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
関連論文リスト
- Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。
本研究では,分散補正モデル平均化アルゴリズムを提案する。
シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
論文 参考訳（メタデータ） (2024-04-06T12:49:20Z) - Diversified Ensemble of Independent Sub-Networks for Robust
Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。
独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。
提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文 参考訳（メタデータ） (2023-08-28T16:58:44Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Proof of Swarm Based Ensemble Learning for Federated Learning
Applications [3.2536767864585663]
連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。
ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。
フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
論文 参考訳（メタデータ） (2022-12-28T13:53:34Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear
Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。
単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。
我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文 参考訳（メタデータ） (2022-05-31T18:33:15Z) - Simple Regularisation for Uncertainty-Aware Knowledge Distillation [2.792030485253753]
本研究では,機械学習モデルのアンサンブルを単一NNに分割した分布自由知識蒸留のための簡単な正規化手法について検討する。
正規化の目的は、微調整のような難易度のないオリジナルのアンサンブルの多様性、正確性、不確実性の推定特性を維持することである。
論文 参考訳（メタデータ） (2022-05-19T12:49:37Z) - Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。
本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。
提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-09T17:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。