論文の概要: How Does Beam Search improve Span-Level Confidence Estimation in Generative Sequence Labeling?

• arxiv url: http://arxiv.org/abs/2212.10767v3
• Date: Wed, 31 Jan 2024 04:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 18:19:17.931033
• Title: How Does Beam Search improve Span-Level Confidence Estimation in Generative Sequence Labeling?
• Title（参考訳）: ジェネレーションシーケンスラベリングにおけるビームサーチはどのようにスパンレベル信頼度推定を改善するか?
• Authors: Kazuma Hashimoto and Iftekhar Naim and Karthik Raman
• Abstract要約: 本稿では,生成配列ラベリングにおけるモデル信頼度の推定に関する実証的な知見を提供する。 6つの公開データセットで検証した結果,提案手法は生成配列ラベルモデルのキャリブレーション誤差を著しく低減することがわかった。
• 参考スコア（独自算出の注目度）: 11.481435098152893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence labeling is a core task in text understanding for IE/IR systems. Text generation models have increasingly become the go-to solution for such tasks (e.g., entity extraction and dialog slot filling). While most research has focused on the labeling accuracy, a key aspect -- of vital practical importance -- has slipped through the cracks: understanding model confidence. More specifically, we lack a principled understanding of how to reliably gauge the confidence of a model in its predictions for each labeled span. This paper aims to provide some empirical insights on estimating model confidence for generative sequence labeling. Most notably, we find that simply using the decoder's output probabilities \textbf{is not} the best in realizing well-calibrated confidence estimates. As verified over six public datasets of different tasks, we show that our proposed approach -- which leverages statistics from top-$k$ predictions by a beam search -- significantly reduces calibration errors of the predictions of a generative sequence labeling model.
• Abstract（参考訳）: シーケンスラベリングはie/irシステムのテキスト理解におけるコアタスクである。 テキスト生成モデルは、このようなタスク(エンティティ抽出やダイアログスロットの充填など)のゴーツーソリューションになりつつある。 ほとんどの研究はラベル付けの精度に重点を置いているが、重要な実践的重要性を持つ重要な側面は、モデルの信頼性を理解することである。 より具体的には、ラベル付きスパン毎の予測においてモデルの信頼度を確実に評価する方法の原則的な理解が欠けている。 本稿では,生成配列ラベリングにおけるモデル信頼度の推定に関する実証的な知見を提供する。 最も注目すべきは、デコーダの出力確率 \textbf{is} を単純に使うだけで、よく校正された信頼推定を実現することができることである。 異なるタスクの6つの公開データセットで検証した結果、ビームサーチによる上位$kの予測統計を利用する提案手法は、生成シーケンスラベルモデルの予測のキャリブレーションエラーを著しく低減することがわかった。

関連論文リスト

• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Predicting generalization performance with correctness discriminators [64.00420578048855]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Perception and Semantic Aware Regularization for Sequential Confidence Calibration [12.265757315192497]
  本稿では,パーセプションとセマンティックなシーケンス正規化フレームワークを提案する。 意味的文脈に依存しない認識と言語モデルを導入し、高い知覚的類似性と意味的相関性を持つ類似のシーケンスを取得する。 シーンテキストや音声認識など,標準シーケンス認識タスクの実験により,本手法が新たな最先端の結果を設定できることが実証された。
  論文  参考訳（メタデータ） (2023-05-31T02:16:29Z)
• A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
  名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。 我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T15:31:23Z)
• Confidence-Aware Calibration and Scoring Functions for Curriculum Learning [1.192436948211501]
  モデルのキャリブレーションと一般化を向上するために,ラベル平滑化によるモデル信頼と人間信頼の概念を統合した。 より高いモデルまたは人間の信頼度スコアは、より認識可能でより簡単なサンプルを示すため、カリキュラム学習においてサンプルをランク付けするスコア関数として使用できる。
  論文  参考訳（メタデータ） (2023-01-29T23:59:40Z)
• Predictive Inference with Weak Supervision [3.1925030748447747]
  コンフォメーション予測フレームワークを開発することにより,部分監督と検証のギャップを埋める。 我々は、新しいカバレッジと予測妥当性の概念を導入し、いくつかのアプリケーションシナリオを開発します。 我々は、新しいカバレッジ定義がより厳密で情報的な(しかし有効な)信頼セットを可能にするという仮説を裏付ける。
  論文  参考訳（メタデータ） (2022-01-20T17:26:52Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)
• Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction [0.8594140167290097]
  マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。 量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
  論文  参考訳（メタデータ） (2020-04-21T17:45:38Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。