論文の概要: Calibration of Machine Reading Systems at Scale

• arxiv url: http://arxiv.org/abs/2203.10623v1
• Date: Sun, 20 Mar 2022 18:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 07:18:19.692246
• Title: Calibration of Machine Reading Systems at Scale
• Title（参考訳）: 大規模機械読解システムの校正
• Authors: Shehzaad Dhuliawala, Leonard Adolphs, Rajarshi Das, Mrinmaya Sachan
• Abstract要約: 一般的な機械学習システムでは、予測の確率を推定して、予測に対するシステムの信頼性を評価する。 本稿では,オープンドメイン質問応答やクレーム検証システムなどのオープンセッティングマシン読解システムの校正について検討する。 実験結果から,本手法は有効であり,解答システムに解答不能あるいは解答不能な分布質問が生じた場合の解答を選択的に予測する上で有用であることがわかった。
• 参考スコア（独自算出の注目度）: 26.26403256177157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In typical machine learning systems, an estimate of the probability of the prediction is used to assess the system's confidence in the prediction. This confidence measure is usually uncalibrated; i.e.\ the system's confidence in the prediction does not match the true probability of the predicted output. In this paper, we present an investigation into calibrating open setting machine reading systems such as open-domain question answering and claim verification systems. We show that calibrating such complex systems which contain discrete retrieval and deep reading components is challenging and current calibration techniques fail to scale to these settings. We propose simple extensions to existing calibration approaches that allows us to adapt them to these settings. Our experimental results reveal that the approach works well, and can be useful to selectively predict answers when question answering systems are posed with unanswerable or out-of-the-training distribution questions.
• Abstract（参考訳）: 一般的な機械学習システムでは、予測に対するシステムの信頼度を評価するために予測の確率を推定する。 つまり、予測に対するシステムの信頼度は、予測された出力の真の確率と一致しない。 本稿では,オープンドメイン質問応答やクレーム検証システムなどのオープンセッティングマシン読解システムの校正について検討する。 個別検索や深層読解成分を含む複雑なシステムの校正は困難であり,現在の校正手法はこれらの設定には適用できない。 これらの設定に適応できる既存のキャリブレーションアプローチへの簡単な拡張を提案する。 実験結果から,本手法は有効であり,解答システムに解答不能あるいは解答不能な分布質問が生じた場合の解答を選択的に予測する上で有用であることがわかった。

関連論文リスト

• Uncertainty measurement for complex event prediction in safety-critical systems [0.36832029288386137]
  複合イベント処理(CEP)の不確実性は、組込みおよび安全クリティカルシステムにとって重要である。 本稿では,事象の知覚と予測の不確実性を測定する方法を示す。 我々は、研究と研究の分野で非常に有望な成果を提示し、議論する。
  論文  参考訳（メタデータ） (2024-11-02T15:51:37Z)
• Cautious Calibration in Binary Classification [1.6954767541769011]
  慎重であることは、機械学習システムの信頼性を高めるために不可欠である。 リスクの高いシナリオでは、予測される各確率が不信に傾くことが重要です。 本研究では,二項分類における慎重な校正という新しい概念を紹介する。
  論文  参考訳（メタデータ） (2024-08-09T15:19:40Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Calibrating AI Models for Wireless Communications via Conformal Prediction [55.47458839587949]
  コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。 本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
  論文  参考訳（メタデータ） (2022-12-15T12:52:23Z)
• Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
  本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。 この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
  論文  参考訳（メタデータ） (2022-03-28T21:22:22Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)
• Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration [40.203492372949576]
  未確認の信頼を持つ監視されたモデルは、誤った予測をしたとしても過信される傾向がある。 パラメータの過剰なネットワークにおける明確な信頼度校正が、その結果の宝くじの品質に与える影響について検討する。 我々の実証研究は、キャリブレーション機構を含むと、より効果的な宝くじチケットにつながることを明らかにしている。
  論文  参考訳（メタデータ） (2020-02-10T15:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。