論文の概要: Revisiting Bayesian Model Averaging in the Era of Foundation Models

• arxiv url: http://arxiv.org/abs/2505.21857v1
• Date: Wed, 28 May 2025 01:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.347301
• Title: Revisiting Bayesian Model Averaging in the Era of Foundation Models
• Title（参考訳）: 基礎モデルの時代におけるベイズ平均化の再考
• Authors: Mijung Park,
• Abstract要約: 我々は、古典的で本格的なベイズモデル平均化(BMA)パラダイムを再考し、事前訓練または/または軽微な基礎モデルを組み立てる。 予め訓練された基礎モデルから凍結した特徴を入力として取り出す訓練可能な線形分類器を導入する。
• 参考スコア（独自算出の注目度）: 4.867923281108005
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We revisit the classical, full-fledged Bayesian model averaging (BMA) paradigm to ensemble pre-trained and/or lightly-finetuned foundation models to enhance the classification performance on image and text data. To make BMA tractable under foundation models, we introduce trainable linear classifiers that take frozen features from the pre-trained foundation models as inputs. The model posteriors over the linear classifiers tell us which linear heads and frozen features are better suited for a given dataset, resulting in a principled model ensembling method. Furthermore, we propose a computationally cheaper, optimizable model averaging scheme (OMA). In OMA, we directly optimize the model ensemble weights, just like those weights based on model posterior distributions in BMA, by reducing the amount of surprise (expected entropy of the predictions) we get from predictions of ensembled models. With the rapid development of foundation models, these approaches will enable the incorporation of future, possibly significantly better foundation models to enhance the performance of challenging classification tasks.
• Abstract（参考訳）: 従来のベイズモデル平均化(BMA)パラダイムを再考し,事前学習および/または軽微な基礎モデルをアンサンブルし,画像およびテキストデータの分類性能を向上させる。 基礎モデルでBMAを抽出できるようにするため,事前学習した基礎モデルから凍結した特徴を入力として取り込む訓練可能な線形分類器を導入する。 線形分類器上のモデル後部は、与えられたデータセットにどの線形ヘッドと凍結した特徴が適しているかを示す。 さらに,計算コストが低く,最適化可能なモデル平均化方式 (OMA) を提案する。 OMAでは,BMAのモデル後部分布に基づくモデルアンサンブル重みを直接最適化し,アンサンブルモデルの予測から得られるサプライズ(予測エントロピーの予測エントロピー)の量を削減した。 基礎モデルの急速な発展により、これらのアプローチは、挑戦的な分類タスクのパフォーマンスを高めるために、将来的な基礎モデルの組み入れを可能にする。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling [7.084307990641011]
  ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。 そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-08-07T12:59:58Z)
• BayesBlend: Easy Model Blending using Pseudo-Bayesian Model Averaging, Stacking and Hierarchical Stacking in Python [0.0]
  重みを推定し、複数の(ベイジアン)モデルの予測分布をブレンドするために、BayesBlend Pythonパッケージを導入する。 ベイズブレンドは、モデルウェイトを推定するために擬ベイズモデルの平均化、積み重ね、一意的に階層的ベイズ積み重ねを実装している。 ベイズブレンドの保険損失モデリングの例を例に紹介する。
  論文  参考訳（メタデータ） (2024-04-30T19:15:33Z)
• Model Stock: All we need is just a few fine-tuned models [34.449901046895185]
  本稿では,大規模な事前学習モデルに対する効率的な微調整手法を提案し,強力な分布内分散(ID)と分布外分散(OOD)性能を提供する。 最終的な重量を達成するために、はるかに少ないモデルを採用するが、精度は優れている。 事前学習型CLIPアーキテクチャに基づく微調整モデルを用いたモデルストックの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-28T15:57:20Z)
• Local Bayesian Dirichlet mixing of imperfect models [0.0]
  ベイズモデルの平均化および混合技術による核質量の採掘能力について検討した。 予測精度と不確実性定量化の両方において,グローバルモデルと局所モデルの混合が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-11-02T21:02:40Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。