論文の概要: Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset

• arxiv url: http://arxiv.org/abs/2109.00186v1
• Date: Wed, 1 Sep 2021 04:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-09-02 14:26:17.884191
• Title: Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset
• Title（参考訳）: 対話データセットにおける分布シフトによる予測不確かさの評価
• Authors: Nyoungwoo Lee, ChaeHun Park, Ho-Jin Choi
• Abstract要約: 現実世界の会話では、配布外よりも広範な分散シフトインプットが存在する可能性がある。 本稿では,対話データセット上での汚職による段階的な分布変化を可能にする2つの方法を提案する。 実験の結果,既存の不確実性推定手法の性能は変化の増大とともに常に低下することがわかった。
• 参考スコア（独自算出の注目度）: 1.8907108368038217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In open-domain dialogues, predictive uncertainties are mainly evaluated in a domain shift setting to cope with out-of-distribution inputs. However, in real-world conversations, there could be more extensive distributional shifted inputs than the out-of-distribution. To evaluate this, we first propose two methods, Unknown Word (UW) and Insufficient Context (IC), enabling gradual distributional shifts by corruption on the dialogue dataset. We then investigate the effect of distributional shifts on accuracy and calibration. Our experiments show that the performance of existing uncertainty estimation methods consistently degrades with intensifying the shift. The results suggest that the proposed methods could be useful for evaluating the calibration of dialogue systems under distributional shifts.
• Abstract（参考訳）: オープンドメイン対話では、予測の不確実性は主に、分散入力に対処するためにドメインシフト設定で評価される。 しかし、現実世界の会話では、配布外よりも広範な分散シフトインプットが存在する可能性がある。 これを評価するために,まず未知語(uw)と不十分な文脈(ic)という2つの手法を提案し,対話データセット上での腐敗による段階的な分布変化を可能とした。 次に,分布シフトが精度とキャリブレーションに及ぼす影響について検討する。 実験の結果,既存の不確実性推定手法の性能は変化の増大とともに常に低下することがわかった。 その結果,提案手法は分散シフト下での対話システムの校正評価に有用であることが示唆された。

関連論文リスト

• Efficient Post-Hoc Uncertainty Calibration via Variance-Based Smoothing [0.810304644344495]
  従来のディープニューラルネットワークにおいて,事前情報の導入が不確実性推定を改善するか否かを検討する。 私たちの焦点は、入力のサブ部分から意味のある予測ができる機械学習タスクです。
  論文  参考訳（メタデータ） (2025-03-19T16:47:15Z)
• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Learning Unbiased Transferability for Domain Adaptation by Uncertainty Modeling [107.24387363079629]
  ドメイン適応は、ラベル付けされたソースドメインからラベル付けされていない、あるいはラベル付けされていないが関連するターゲットドメインに知識を転送することを目的としています。 ソース内のアノテートされたデータの量とターゲットドメインとの間の不均衡のため、ターゲットの分布のみがソースドメインにアライメントされる。 本稿では,非暴力的非暴力的移動可能性推定プラグイン(UTEP)を提案し,非暴力的移動を最適化するDA法において,識別器の不確実性をモデル化する。
  論文  参考訳（メタデータ） (2022-06-02T21:58:54Z)
• Instrumental Variable-Driven Domain Generalization with Unobserved Confounders [53.735614014067394]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。 観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。 第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。 第2段階では,ラベルと学習条件分布の関係を推定する。
  論文  参考訳（メタデータ） (2021-10-04T13:32:57Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation [25.97333838935589]
  不確実性推定は、自律的なエージェントや人間の意思決定者が予測モデルを理解し、活用するのを助ける重要なツールである。 既存のアルゴリズムは確実性を過大評価し、予測モデルに誤った自信を与える可能性がある。
  論文  参考訳（メタデータ） (2020-02-29T20:31:04Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。