Fugu-MT 論文翻訳(概要): Accelerating Convergence in Bayesian Few-Shot Classification

論文の概要: Accelerating Convergence in Bayesian Few-Shot Classification

arxiv url: http://arxiv.org/abs/2405.01507v1
Date: Thu, 2 May 2024 17:37:39 GMT
ステータス: 処理完了
システム内更新日: 2024-05-03 15:35:38.213746
Title: Accelerating Convergence in Bayesian Few-Shot Classification
Title（参考訳）: Bayesian Few-Shot 分類における高速化収束
Authors: Tianjun Ke, Haoqun Cao, Feng Zhou,
Abstract要約: 本稿では,ミラー降下に基づく変分推論をガウス過程に基づく少数ショット分類にシームレスに統合する。非ユークリッド幾何学を活用することにより、ミラー降下は対応する多様体に沿って最も急勾配の方向を与えることにより加速収束を達成する。
参考スコア（独自算出の注目度）: 3.819329978428786
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bayesian few-shot classification has been a focal point in the field of few-shot learning. This paper seamlessly integrates mirror descent-based variational inference into Gaussian process-based few-shot classification, addressing the challenge of non-conjugate inference. By leveraging non-Euclidean geometry, mirror descent achieves accelerated convergence by providing the steepest descent direction along the corresponding manifold. It also exhibits the parameterization invariance property concerning the variational distribution. Experimental results demonstrate competitive classification accuracy, improved uncertainty quantification, and faster convergence compared to baseline models. Additionally, we investigate the impact of hyperparameters and components. Code is publicly available at https://github.com/keanson/MD-BSFC.
Abstract（参考訳）: ベイズ的数発分類は、数発学習の分野において焦点となっている。本稿では,ミラー降下に基づく変分推論をガウス過程に基づく少数ショット分類にシームレスに統合し,非共役推論の課題に対処する。非ユークリッド幾何学を活用することにより、ミラー降下は対応する多様体に沿って最も急勾配の方向を与えることにより加速収束を達成する。また、変分分布に関するパラメータ化不変性を示す。実験により, 競争的分類精度, 不確実性定量化の改善, ベースラインモデルと比較して収束の速さが示された。さらに,過度パラメータと成分の影響について検討する。コードはhttps://github.com/keanson/MD-BSFCで公開されている。

関連論文リスト

Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文参考訳（メタデータ） (2024-05-26T12:25:09Z)
Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
論文参考訳（メタデータ） (2024-02-22T18:20:22Z)
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
論文参考訳（メタデータ） (2023-09-28T22:41:47Z)
Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。提案手法は,画像分類における既存の手法よりも優れている。
論文参考訳（メタデータ） (2022-12-02T07:31:39Z)
Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
論文参考訳（メタデータ） (2022-09-18T10:29:02Z)
Bayesian Few-Shot Classification with One-vs-Each P\'olya-Gamma Augmented Gaussian Processes [7.6146285961466]
FSC(Few-shot Classification)は、人間のような機械学習への道のりの重要なステップである。 P'olya-Gamma augmentation と one-vs-each softmax approximation の新たな組み合わせを提案する。標準的な数ショット分類ベンチマークと数ショットドメイン転送タスクの両方において、精度の向上と不確かさの定量化を実証した。
論文参考訳（メタデータ） (2020-07-20T19:10:41Z)
Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
領域間変分ガウス過程(GP)の新たなクラスを導入する。我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
論文参考訳（メタデータ） (2020-06-30T10:19:32Z)
Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文参考訳（メタデータ） (2020-06-07T06:57:43Z)
Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文参考訳（メタデータ） (2020-03-09T13:51:09Z)
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
論文参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。