論文の概要: Revisiting Logistic-softmax Likelihood in Bayesian Meta-Learning for Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2310.10379v2
• Date: Thu, 10 Oct 2024 21:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:29:54.949203
• Title: Revisiting Logistic-softmax Likelihood in Bayesian Meta-Learning for Few-Shot Classification
• Title（参考訳）: 弱ショット分類のためのベイジアンメタラーニングにおけるロジスティック-ソフトマックス類似の再検討
• Authors: Tianjun Ke, Haoqun Cao, Zenan Ling, Feng Zhou,
• Abstract要約: ロジスティック・ソフトマックスは、多クラスガウス過程分類におけるソフトマックス可能性の代替としてしばしば用いられる。 我々は,温度パラメータによるテクティタ事前信頼度を制御できるロジスティック・ソフトマックスの可能性を再検討し,再検討する。 提案手法では, 精度の高い不確実性推定値が得られ, 標準ベンチマークデータセットにおいて, 同等あるいは優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 4.813254903898101
• License:
• Abstract: Meta-learning has demonstrated promising results in few-shot classification (FSC) by learning to solve new problems using prior knowledge. Bayesian methods are effective at characterizing uncertainty in FSC, which is crucial in high-risk fields. In this context, the logistic-softmax likelihood is often employed as an alternative to the softmax likelihood in multi-class Gaussian process classification due to its conditional conjugacy property. However, the theoretical property of logistic-softmax is not clear and previous research indicated that the inherent uncertainty of logistic-softmax leads to suboptimal performance. To mitigate these issues, we revisit and redesign the logistic-softmax likelihood, which enables control of the \textit{a priori} confidence level through a temperature parameter. Furthermore, we theoretically and empirically show that softmax can be viewed as a special case of logistic-softmax and logistic-softmax induces a larger family of data distribution than softmax. Utilizing modified logistic-softmax, we integrate the data augmentation technique into the deep kernel based Gaussian process meta-learning framework, and derive an analytical mean-field approximation for task-specific updates. Our approach yields well-calibrated uncertainty estimates and achieves comparable or superior results on standard benchmark datasets. Code is publicly available at \url{https://github.com/keanson/revisit-logistic-softmax}.
• Abstract（参考訳）: メタラーニングは、事前知識を用いて新しい問題を解決することを学ぶことで、いくつかのショット分類(FSC)において有望な結果を示した。 ベイズ法は高リスク分野において重要なFSCの不確実性の特徴付けに有効である。 この文脈では、ロジスティック・ソフトマックス確率は条件共役性のために多クラスガウス過程分類におけるソフトマックス確率の代替としてしばしば用いられる。 しかし、ロジスティック・ソフトマックスの理論的性質は明確ではなく、以前の研究ではロジスティック・ソフトマックスの本質的な不確実性が最適以下の性能をもたらすことが示されている。 これらの問題を緩和するために、温度パラメータを通してtextit{a priori} 信頼度を制御できるロジスティック・ソフトマックスの可能性を再検討し、再考する。 さらに,ソフトマックスはロジスティック・ソフトマックスの特殊な場合と見なすことができ,ロジスティック・ソフトマックスはソフトマックスよりも大きなデータ分布を誘導することを示す。 修正ロジスティック-ソフトマックスを用いることで、データ拡張技術を深層カーネルベースのガウスプロセスメタラーニングフレームワークに統合し、タスク固有の更新に対する平均フィールド近似を導出する。 提案手法では, 精度の高い不確実性推定値が得られ, 標準ベンチマークデータセットにおいて同等あるいは優れた結果が得られる。 コードは \url{https://github.com/keanson/revisit-logistic-softmax} で公開されている。

関連論文リスト

• r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
  本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。 我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
  論文  参考訳（メタデータ） (2023-04-11T14:28:29Z)
• Revisiting Softmax for Uncertainty Approximation in Text Classification [45.07154956156555]
  テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。 最も広く使われている不確実性近似法の一つにモンテカルロ・ドロップアウトがある。 我々は、その不確実性近似と下流テキスト分類性能について、ソフトマックスとMC Dropoutの効率的なバージョンを比較した。 MCのドロップアウトは最適な不確実性近似を生成するが、単純なソフトマックスを用いることで競合し、場合によってはより低い計算コストでテキスト分類に対する不確実性推定がより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-10-25T14:13:53Z)
• Enhancing Classifier Conservativeness and Robustness by Polynomiality [23.099278014212146]
  我々はその状況をいかに改善できるかを示す。 直接的に関連し、単純で、しかし重要な技術的ノベルティは、SoftRmaxです。 我々は,ソフトRmaxの2つの側面,保守性,本質的な頑健性は,逆正則化につながることを示した。
  論文  参考訳（メタデータ） (2022-03-23T19:36:19Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Balanced Meta-Softmax for Long-Tailed Visual Recognition [46.215759445665434]
  ソフトマックス関数は、ほとんどの分類タスクで使用されるが、長い尾の配置の下で偏りのある勾配推定を与えることを示す。 本稿では,Softmax のエレガントな非バイアス拡張である Balanced Softmax を提案する。 実験では,Quaird Meta-Softmaxが視覚認識とインスタンスセグメンテーションの両タスクにおいて,最先端の長期分類ソリューションより優れていることを示した。
  論文  参考訳（メタデータ） (2020-07-21T12:05:00Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations [154.51144248210338]
  Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
  論文  参考訳（メタデータ） (2020-03-27T05:04:24Z)
• Being Bayesian about Categorical Probability [6.875312133832079]
  クラスラベルに対する分類的確率の確率変数を考える。 この枠組みでは、先行分布は観測されたラベルに固有の推定ノイズを明示的にモデル化する。 本手法は,計算オーバーヘッドが無視できるプラグアンドプレイ損失関数として実装することができる。
  論文  参考訳（メタデータ） (2020-02-19T02:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。