論文の概要: Uncertainty Estimation for the Open-Set Text Classification systems
- arxiv url: http://arxiv.org/abs/2604.08560v1
- Date: Tue, 17 Mar 2026 12:25:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.415192
- Title: Uncertainty Estimation for the Open-Set Text Classification systems
- Title（参考訳）: オープンセットテキスト分類システムの不確かさ推定
- Abstract要約: テキスト領域に対するホロスティック不確実性推定法(HolUE)を適用する。
テキスト認識システムにおける予測誤りの主な原因は,不規則な定式化クエリに起因するテキストの不確かさと,データ分布のあいまいさに関連するギャラリーの不確かさである。
- 参考スコア（独自算出の注目度）: 1.0557657302168184
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Accurate uncertainty estimation is essential for building robust and trustworthy recognition systems. In this paper, we consider the open-set text classification (OSTC) task - and uncertainty estimation for it. For OSTC a text sample should be classified as one of the existing classes or rejected as unknown. To account for the different uncertainty types encountered in OSTC, we adapt the Holistic Uncertainty Estimation (HolUE) method for the text domain. Our approach addresses two major causes of prediction errors in text recognition systems: text uncertainty that stems from ill formulated queries and gallery uncertainty that is related the ambiguity of data distribution. By capturing these sources, it becomes possible to predict when the system will make a recognition error. We propose a new OSTC benchmark and conduct extensive experiments on a wide range of data, utilizing the authorship attribution, intent and topic classification datasets. HolUE achieves 40-365% improvement in Prediction Rejection Ratio (PRR) over the quality-based SCF baseline across datasets: 365% on Yahoo Answers (0.79 vs 0.17 at FPIR 0.1), 347% on DBPedia (0.85 vs 0.19), 240% on PAN authorship attribution (0.51 vs 0.15 at FPIR 0.5), and 40% on CLINC150 intent classification (0.73 vs~0.52). We make public our code and protocols https://github.com/Leonid-Erlygin/text_uncertainty.git
- Abstract（参考訳）: 堅牢で信頼性の高い認識システムを構築するためには、正確な不確実性推定が不可欠である。
本稿では、オープンセットテキスト分類(OSTC)タスクと、それに対する不確実性推定について考察する。
OSTCでは、テキストサンプルは既存のクラスの1つに分類するか、不明として拒否されるべきである。
テキスト領域に対するホロスティック不確実性推定法(HolUE)を適用する。
テキスト認識システムにおける予測誤りの主な原因は,不規則な定式化クエリに起因するテキストの不確かさと,データ分布のあいまいさに関連するギャラリーの不確かさである。
これらのソースをキャプチャすることで、システムが認識エラーをいつ発生させるかを予測することができる。
我々は、著者属性、意図、トピック分類データセットを利用して、新しいOSTCベンチマークを提案し、幅広いデータに対して広範な実験を行う。
HolUEは、データセット間の品質ベースのSCFベースラインよりも40-365%の改善を実現している: Yahoo Answers(FPIR0.1で0.79対0.17)、DBPedia(0.85対0.19)、PANオーサリング属性(FPIR0.5で0.51対0.15)、CLINC150インテント分類(0.73対...0.52)。
コードとプロトコルを公開します。https://github.com/Leonid-Erlygin/text_uncertainty.git
関連論文リスト
- $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。
既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。
提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文 参考訳（メタデータ） (2026-08-20T17:58:50Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays [0.0]
フィールド単位の受け入れ/レビューは、ほとんどのアルファ版において選択的なリスクを持つが、信頼契約文書抽出システムを必要とする。
13,859 個の CORD レシート (49.0% ) からの真の Claude-sonnet-5 フィールドでは、3 つの障害モードを診断する。
シードピンでレグレッション付きプロシージャを備えたApache-2.0がリリースされた。
論文 参考訳（メタデータ） (2026-07-28T17:08:50Z) - From Text to Parameters: Predicting Item Parameters from Embedding Regularization with Reliability and Design Ceilings [1.8194320623567561]
項目テキストの埋め込みにおける正規化回帰を組み合わせた評価フレームワークを提案する。
項目の難易度はテキストから非常に予測可能である。
組込み型回帰は,ほとんどばらつきを説明できないが,RMSEのリーダと一致していることを示す。
論文 参考訳（メタデータ） (2026-07-08T08:34:46Z) - Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。
本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。
本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
論文 参考訳（メタデータ） (2026-05-29T03:52:44Z) - Conformal Prediction for Privacy-Preserving Machine Learning [83.88591755871734]
AESで暗号化されたMNISTデータセットの変種を用いて、暗号化されたドメインに直接適用しても、コンフォーマル予測法が有効であることを示す。
我々の研究は、安全でプライバシーに配慮した学習システムにおける原則的不確実性定量化の基礎を定めている。
論文 参考訳（メタデータ） (2025-07-13T15:29:14Z) - Estimating Uncertainty with Implicit Quantile Network [0.0]
不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。
本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
論文 参考訳（メタデータ） (2024-08-26T13:33:14Z) - Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification [6.975902383951604]
現在の手法は、予測不可能なアウトリーチ分布で困難に直面している。
本稿では,これらの課題に対処するため,Dual for Threshold-Based Re-Classification (DETER)を提案する。
我々のモデルは以前のベンチマークより優れており、未知のインテントに対するF1スコアの13%と5%に向上しています。
論文 参考訳（メタデータ） (2024-05-30T11:46:42Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - What Can We Learn From The Selective Prediction And Uncertainty
Estimation Performance Of 523 Imagenet Classifiers [15.929238800072195]
本稿では,既存の523の事前学習深層画像ネット分類器の選択的予測と不確実性評価性能について述べる。
蒸留法に基づくトレーニング体制は、他のトレーニング方式よりも常により良い不確実性推定を導出することを発見した。
例えば、ImageNetでは前例のない99%のトップ1選択精度を47%で発見しました。
論文 参考訳（メタデータ） (2023-02-23T09:25:28Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - MetaDetect: Uncertainty Quantification and Prediction Quality Estimates
for Object Detection [6.230751621285322]
ディープニューラルネットワークを用いたオブジェクト検出では、ボックスワイドのオブジェクト性スコアは過信される傾向にある。
本稿では,任意のニューラルネットワークに対して予測不確実性推定と品質推定を提供するポスト処理手法を提案する。
論文 参考訳（メタデータ） (2020-10-04T21:49:23Z) - Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
論文 参考訳（メタデータ） (2020-09-29T17:58:04Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳（メタデータ） (2020-09-17T04:37:26Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。