論文の概要: Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval

• arxiv url: http://arxiv.org/abs/2303.08599v1
• Date: Wed, 15 Mar 2023 13:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:40:20.604138
• Title: Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval
• Title（参考訳）: 信頼できる対話応答検索のためのガウス過程による効率的な不確かさ推定
• Authors: Tong Ye, Zhitao Li, Jianzong Wang, Ning Cheng, Jing Xiao
• Abstract要約: BERTに基づく会話検索のための効率的な不確実性校正フレームワークGPF-BERTを提案する。 基本的なキャリブレーション法と比較して、GPF-BERTは3つのドメイン内のデータセットで最も低い経験的キャリブレーション誤差(ECE)を達成する。 時間消費に関しては、GPF-BERTは8$times$ speedupです。
• 参考スコア（独自算出の注目度）: 31.32746943236811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved remarkable performance in retrieval-based dialogue systems, but they are shown to be ill calibrated. Though basic calibration methods like Monte Carlo Dropout and Ensemble can calibrate well, these methods are time-consuming in the training or inference stages. To tackle these challenges, we propose an efficient uncertainty calibration framework GPF-BERT for BERT-based conversational search, which employs a Gaussian Process layer and the focal loss on top of the BERT architecture to achieve a high-quality neural ranker. Extensive experiments are conducted to verify the effectiveness of our method. In comparison with basic calibration methods, GPF-BERT achieves the lowest empirical calibration error (ECE) in three in-domain datasets and the distributional shift tasks, while yielding the highest $R_{10}@1$ and MAP performance on most cases. In terms of time consumption, our GPF-BERT has an 8$\times$ speedup.
• Abstract（参考訳）: ディープニューラルネットワークは検索ベースの対話システムにおいて顕著な性能を発揮してきたが、校正が不十分であることが示されている。 モンテカルロ・ドロップアウトやアンサンブルのような基本的なキャリブレーション手法はうまく調整できるが、これらの方法はトレーニングや推論の段階で時間を要する。 これらの課題に対処するために,ガウスプロセス層とBERTアーキテクチャ上の焦点損失を利用して高品質なニューラルランク付けを実現する,BERTに基づく会話探索のための効率的な不確実性校正フレームワークGPF-BERTを提案する。 本手法の有効性を検証するために広範な実験を行った。 基本的な校正法と比較して、GPF-BERTは3つのドメイン内のデータセットと分散シフトタスクにおいて、最も低い経験的校正誤差(ECE)を達成し、ほとんどの場合、R_{10}@1$とMAPのパフォーマンスは最高である。 時間消費に関しては、GPF-BERTは8$\times$ speedupです。

関連論文リスト

• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• GETS: Ensemble Temperature Scaling for Calibration in Graph Neural Networks [8.505932176266368]
  グラフニューラルネットワークは強力な分類結果を提供するが、しばしばキャリブレーション性能の低下に悩まされ、自信過剰や自信不足につながる。 温度スケーリングのような既存のポストホック法はグラフ構造を効果的に利用できないが、現在のGNNキャリブレーション法は様々な入力情報とモデルアンサンブルを併用する可能性をしばしば見落としている。 本稿では,10GNNベンチマークデータセットに対して予測キャリブレーション誤差を25%低減し,入力とモデルのアンサンブル戦略を組み合わせた新しいキャリブレーションフレームワークであるGraph Ensemble TemperatureScalingを提案する。
  論文  参考訳（メタデータ） (2024-10-12T15:34:41Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)
• Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks [54.23874144090228]
  一般的なアプローチは、元のネットワークの出力をキャリブレーションされた信頼スコアに変換する、ポストホックキャリブレーション関数を学ぶことである。 以前のポストホックキャリブレーション技術は単純なキャリブレーション機能でしか機能しない。 本稿では,順序保存関数のクラスを表すニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-15T12:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。