論文の概要: Revisiting Softmax for Uncertainty Approximation in Text Classification
- arxiv url: http://arxiv.org/abs/2210.14037v2
- Date: Wed, 19 Jul 2023 13:43:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 18:03:10.960072
- Title: Revisiting Softmax for Uncertainty Approximation in Text Classification
- Title（参考訳）: テキスト分類における不確実性近似のためのsoftmaxの再検討
- Authors: Andreas Nugaard Holm, Dustin Wright, Isabelle Augenstein
- Abstract要約: テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。
最も広く使われている不確実性近似法の一つにモンテカルロ・ドロップアウトがある。
我々は、その不確実性近似と下流テキスト分類性能について、ソフトマックスとMC Dropoutの効率的なバージョンを比較した。
MCのドロップアウトは最適な不確実性近似を生成するが、単純なソフトマックスを用いることで競合し、場合によってはより低い計算コストでテキスト分類に対する不確実性推定がより優れていることが分かる。
- 参考スコア（独自算出の注目度）: 45.07154956156555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty approximation in text classification is an important area with
applications in domain adaptation and interpretability. One of the most widely
used uncertainty approximation methods is Monte Carlo (MC) Dropout, which is
computationally expensive as it requires multiple forward passes through the
model. A cheaper alternative is to simply use the softmax based on a single
forward pass without dropout to estimate model uncertainty. However, prior work
has indicated that these predictions tend to be overconfident. In this paper,
we perform a thorough empirical analysis of these methods on five datasets with
two base neural architectures in order to identify the trade-offs between the
two. We compare both softmax and an efficient version of MC Dropout on their
uncertainty approximations and downstream text classification performance,
while weighing their runtime (cost) against performance (benefit). We find
that, while MC dropout produces the best uncertainty approximations, using a
simple softmax leads to competitive and in some cases better uncertainty
estimation for text classification at a much lower computational cost,
suggesting that softmax can in fact be a sufficient uncertainty estimate when
computational resources are a concern.
- Abstract（参考訳）: テキスト分類における不確かさ近似は、ドメイン適応と解釈可能性において重要な領域である。
最も広く使われている不確実性近似の方法の1つはモンテカルロ(mc)ドロップアウト(英語版)である。
より安価な選択肢は、モデルの不確実性を推定するために、ドロップアウトなしで単一の前方通過に基づいてソフトマックスを単純に使うことである。
しかし、以前の研究はこれらの予測が過信される傾向があることを示している。
本稿では,2つの基礎となるニューラルネットワークアーキテクチャを持つ5つのデータセット上で,これらの手法の徹底的な実験的検討を行い,両者のトレードオフを明らかにする。
softmaxと効率的なmc dropoutの両方を不確実性近似と下流のテキスト分類性能で比較し、ランタイム(コスト)とパフォーマンス(メリット)を比較した。
mcドロップアウトは最良不確実性近似を生成するが、単純なソフトマックスを使うことは競争につながり、場合によっては計算コストがはるかに低いテキスト分類のより良い不確実性推定につながることが判明し、計算資源が懸念される場合にsoftmaxが十分不確実性推定となることを示唆する。
関連論文リスト
- What Does Softmax Probability Tell Us about Classifiers Ranking Across Diverse Test Conditions? [19.939014335673633]
我々はSoftmax correlation(SoftmaxCorr)と呼ばれる新しい尺度を導入する。
クラスクラス相関行列と予め定義された参照行列との間のコサイン類似性を計算する。
基準行列の予測と高い類似性は、モデルが自信と均一な予測をもたらすことを示唆する。
論文 参考訳（メタデータ） (2024-06-14T10:36:26Z) - Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts [78.3687645289918]
我々は,シグモイドゲーティング関数が,専門家推定の統計的タスクにおいて,ソフトマックスゲーティングよりも高いサンプル効率を享受できることを示した。
ReLU や GELU のようなよく使われる活性化型フィードフォワードネットワークとして定式化された専門家は,シグモイドゲーティングの下でより速い収束率を享受できる。
論文 参考訳（メタデータ） (2024-05-22T21:12:34Z) - In Defense of Softmax Parametrization for Calibrated and Consistent
Learning to Defer [27.025808709031864]
ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。
従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。
統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
論文 参考訳（メタデータ） (2023-11-02T09:15:52Z) - Revisiting Logistic-softmax Likelihood in Bayesian Meta-Learning for Few-Shot Classification [4.813254903898101]
ロジスティック・ソフトマックスは、多クラスガウス過程分類におけるソフトマックス可能性の代替としてしばしば用いられる。
我々は,温度パラメータによるテクティタ事前信頼度を制御できるロジスティック・ソフトマックスの可能性を再検討し,再検討する。
提案手法では, 精度の高い不確実性推定値が得られ, 標準ベンチマークデータセットにおいて, 同等あるいは優れた結果が得られる。
論文 参考訳（メタデータ） (2023-10-16T13:20:13Z) - Uncertainty in Extreme Multi-label Classification [81.14232824864787]
eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。
本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。
特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-18T20:54:33Z) - Understanding Softmax Confidence and Uncertainty [95.71801498763216]
トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。
しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。
本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
論文 参考訳（メタデータ） (2021-06-09T10:37:29Z) - Improving Deterministic Uncertainty Estimation in Deep Learning for
Classification and Regression [30.112634874443494]
単一前方通過における不確かさを推定する新しいモデルを提案する。
提案手法では,バイリプシッツ特徴抽出器とガウス過程の誘導点を組み合わせ,ロバストかつ原理的不確実性推定を行う。
論文 参考訳（メタデータ） (2021-02-22T23:29:12Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳（メタデータ） (2021-01-19T18:55:29Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Being Bayesian about Categorical Probability [6.875312133832079]
クラスラベルに対する分類的確率の確率変数を考える。
この枠組みでは、先行分布は観測されたラベルに固有の推定ノイズを明示的にモデル化する。
本手法は,計算オーバーヘッドが無視できるプラグアンドプレイ損失関数として実装することができる。
論文 参考訳（メタデータ） (2020-02-19T02:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。