論文の概要: "None of the Above":Measure Uncertainty in Dialog Response Retrieval
- arxiv url: http://arxiv.org/abs/2004.01926v2
- Date: Fri, 15 May 2020 02:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 23:00:30.570737
- Title: "None of the Above":Measure Uncertainty in Dialog Response Retrieval
- Title(参考訳): 『none of the above』:対話応答検索における不確実性の測定
- Authors: Yulan Feng, Shikib Mehri, Maxine Eskenazi, Tiancheng Zhao
- Abstract要約: 本稿では,エンド・ツー・エンド・ダイアログタスクにおける不確実性を明らかにすることの重要性について論じる。
この特定の目的のためにモデルを再訓練する代わりに、最良予測に対する元の検索モデルの基本的信頼度を、簡単な計算で捉えることができることを示す。
- 参考スコア(独自算出の注目度): 21.3534487101893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper discusses the importance of uncovering uncertainty in end-to-end
dialog tasks, and presents our experimental results on uncertainty
classification on the Ubuntu Dialog Corpus. We show that, instead of retraining
models for this specific purpose, the original retrieval model's underlying
confidence concerning the best prediction can be captured with trivial
additional computation.
- Abstract(参考訳): 本稿では、エンドツーエンドのダイアログタスクにおける不確実性を明らかにすることの重要性について論じ、Ubuntuダイアログコーパスにおける不確実性分類に関する実験結果を示す。
この特定の目的のためにモデルを再訓練する代わりに、元の検索モデルの最良の予測に対する信頼度を、簡単な計算で捉えることができることを示す。
関連論文リスト
- Assessing "Implicit" Retrieval Robustness of Large Language Models [17.006566708461346]
様々な大規模言語モデルの「単純」検索頑健性を評価する。
金と気を散らすコンテキストの混合による微調整は、モデルの不正確な検索に対する堅牢性を大幅に向上させる。
これは、大きな言語モデルは、最終回答の監督からのみ学習することで、関連性または無関係な検索コンテキストを暗黙的に扱うことができることを示唆している。
論文 参考訳(メタデータ) (2024-06-26T07:38:24Z) - On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。
この研究はベイズ決定論の観点からこれらの課題に対処する。
本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。
提案手法はブラックボックス言語モデルに適用できる。
論文 参考訳(メタデータ) (2024-06-07T18:54:40Z) - Question Generation in Knowledge-Driven Dialog: Explainability and Evaluation [5.598219914856067]
質問を直接生成するのではなく,まず質問の事実を逐次予測するモデルを提案する。
KGConvデータセットに適応した37kテストダイアログに対するアプローチを評価する。
論文 参考訳(メタデータ) (2024-04-11T15:24:50Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T12:06:53Z) - Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。
これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。
クリーン音声推定における不確実性モデリングの利点について検討する。
論文 参考訳(メタデータ) (2023-05-15T15:55:12Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - Adversarial Robustness of Visual Dialog [16.918181814918512]
敵対的堅牢性は、機械学習モデルの最悪のパフォーマンスシナリオを評価し、その安全性と信頼性を保証する。
本研究は,テキスト・アタックに対する視覚的グラウンド・ダイアログモデルのロバスト性について検討した最初のものである。
論文 参考訳(メタデータ) (2022-07-06T13:01:44Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳(メタデータ) (2021-05-28T09:23:05Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳(メタデータ) (2020-11-15T17:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。