Fugu-MT 論文翻訳(概要): LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks

論文の概要: LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks

arxiv url: http://arxiv.org/abs/2405.14438v4
Date: Fri, 23 May 2025 15:30:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-26 15:51:02.584806
Title: LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks
Title（参考訳）: LoRA-Ensemble: 自己注意ネットワークのための効率的な不確実性モデリング
Authors: Dominik J. Mühlematter, Michelle Halbheer, Alexander Becker, Dominik Narnhofer, Helge Aasen, Konrad Schindler, Mehmet Ozgur Turkoglu,
Abstract要約: 本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
参考スコア（独自算出の注目度）: 52.46420522934253
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Numerous real-world decisions rely on machine learning algorithms and require calibrated uncertainty estimates. However, modern methods often yield overconfident, uncalibrated predictions. The dominant approach to quantifying the uncertainty inherent in the model is to train an ensemble of separate predictors and measure their empirical variance. In an explicit implementation, the ensemble has high computational cost and memory footprint, especially if the base model itself is already large, like modern transformers. This motivates efforts to develop implicit ensemble methods that emulate the ensemble without explicitly instantiating all its members. We introduce LoRA-Ensemble, a parameter-efficient ensembling method for self-attention networks. It is based on Low-Rank Adaptation (LoRA), originally developed for efficient LLM fine-tuning, and extends it into an implicit ensembling scheme, where all ensemble members share the same, pre-trained self-attention network, but have individual low-rank matrices for the attention projections. The resulting method not only outperforms state-of-the-art implicit techniques like BatchEnsemble, but even matches or exceeds the accuracy of an Explicit Ensemble, while at the same time achieving superior calibration.
Abstract（参考訳）: 多くの実世界の決定は機械学習アルゴリズムに依存し、キャリブレーションされた不確実性推定を必要とする。しかし、現代の手法は、しばしば過信で不合理な予測をもたらす。モデルに固有の不確実性を定量化する主要なアプローチは、別々の予測器のアンサンブルを訓練し、それらの経験的分散を測定することである。明示的な実装では、アンサンブルは計算コストとメモリフットプリントが高い。これは、すべてのメンバーを明示的にインスタンス化せずにアンサンブルをエミュレートする暗黙のアンサンブル手法を開発する努力を動機付けている。本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。もともとLow-Rank Adaptation (LoRA)をベースとしており、LLMファインチューニングのために開発されたもので、暗黙のアンサンブル方式に拡張されており、すべてのアンサンブルメンバーは同じ、訓練済みのセルフアテンションネットワークを共有しているが、アテンションプロジェクションのための個々の低ランク行列を持っている。結果として得られた方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチしたり超えたりします。

関連論文リスト

On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
論文参考訳（メタデータ） (2024-10-11T18:02:46Z)
Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。本研究では,分散補正モデル平均化アルゴリズムを提案する。シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
論文参考訳（メタデータ） (2024-04-06T12:49:20Z)
Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文参考訳（メタデータ） (2023-08-28T16:58:44Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
論文参考訳（メタデータ） (2022-12-28T13:53:34Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文参考訳（メタデータ） (2022-05-31T18:33:15Z)
Simple Regularisation for Uncertainty-Aware Knowledge Distillation [2.792030485253753]
本研究では,機械学習モデルのアンサンブルを単一NNに分割した分布自由知識蒸留のための簡単な正規化手法について検討する。正規化の目的は、微調整のような難易度のないオリジナルのアンサンブルの多様性、正確性、不確実性の推定特性を維持することである。
論文参考訳（メタデータ） (2022-05-19T12:49:37Z)
Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-09T17:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。