論文の概要: Improving Screening Processes via Calibrated Subset Selection

• arxiv url: http://arxiv.org/abs/2202.01147v3
• Date: Mon, 13 Jun 2022 01:02:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-19 14:38:21.263448
• Title: Improving Screening Processes via Calibrated Subset Selection
• Title（参考訳）: キャリブレーションサブセット選択によるスクリーニングプロセスの改善
• Authors: Lequn Wang, Thorsten Joachims, Manuel Gomez Rodriguez
• Abstract要約: 私たちはCalibrated Subset Selection (CSS) と呼ばれる分布自由スクリーニングアルゴリズムを開発した。 CSSは、期待されている数の適格候補を含む候補のほぼ最適のショートリストを見つける。 米国国勢調査調査データの実験は、我々の理論結果を検証し、我々のアルゴリズムによって提供されるショートリストが、いくつかの競争基盤線によって提供されるものよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 35.952153033163576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many selection processes such as finding patients qualifying for a medical trial or retrieval pipelines in search engines consist of multiple stages, where an initial screening stage focuses the resources on shortlisting the most promising candidates. In this paper, we investigate what guarantees a screening classifier can provide, independently of whether it is constructed manually or trained. We find that current solutions do not enjoy distribution-free theoretical guarantees -- we show that, in general, even for a perfectly calibrated classifier, there always exist specific pools of candidates for which its shortlist is suboptimal. Then, we develop a distribution-free screening algorithm -- called Calibrated Subset Selection (CSS) -- that, given any classifier and some amount of calibration data, finds near-optimal shortlists of candidates that contain a desired number of qualified candidates in expectation. Moreover, we show that a variant of CSS that calibrates a given classifier multiple times across specific groups can create shortlists with provable diversity guarantees. Experiments on US Census survey data validate our theoretical results and show that the shortlists provided by our algorithm are superior to those provided by several competitive baselines.
• Abstract（参考訳）: 治験に合格した患者の検索や検索エンジンの検索パイプラインなど、多くの選択プロセスは複数の段階で構成されており、初期スクリーニング段階は最も有望な候補の短縮にリソースを集中させる。 本稿では,手動で構築するか,訓練するかに関わらず,スクリーニング分類器がどのような保証を提供できるかを検討する。 我々は、現在の解が分布のない理論的な保証を享受していないことを発見した -- 一般に、完全に校正された分類器でさえ、そのショートリストが最適でない候補のプールが常に存在することを示す。 次に,任意の分類器とある程度のキャリブレーションデータが与えられた場合,希望する候補数を含む候補の候補の至近短リストを探索する,分散非分布スクリーニングアルゴリズム -- calibrated subset selection (css) -- を開発した。 さらに、特定のグループ間で複数の分類器を校正するCSSの変種が、証明可能な多様性を保証するショートリストを作成することができることを示す。 米国国勢調査調査データを用いた実験は,我々の理論的結果を検証し,本アルゴリズムが提供したショートリストが,いくつかの競合ベースラインが提供したショートリストよりも優れていることを示す。

関連論文リスト

• Centralized Selection with Preferences in the Presence of Biases [25.725937202777267]
  本論文は,候補を複数のグループに分けた設定に焦点をあて,いくつかのグループにおける候補の観測ユーティリティは,真のユーティリティよりも体系的に低い偏りを呈する。 アルゴリズムは、選好に関して準最適群フェアネスを達成するための選択を生成するとともに、分布的仮定の下で真の効用をほぼ最大化する証明と共に提示される。
  論文  参考訳（メタデータ） (2024-09-07T19:47:13Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Analysis of the Cambridge Multiple-Choice Questions Reading Dataset with a Focus on Candidate Response Distribution [38.58190457533888]
  候補分布マッチングのタスクを導入し、タスクの評価指標をいくつか提案し、RACE++でトレーニングされた自動システムをタスクのベースラインとして活用できることを実証する。 さらに,これらの自動システムは,過度な障害検出などの実運用前評価タスクに利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-22T17:13:08Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• On the Within-Group Fairness of Screening Classifiers [16.404065044314976]
  我々は、校正された分類器を使用するスクリーニングポリシーは、グループ内の不公平さの過小評価に悩まされる可能性があると論じる。 予測粒度とショートリストサイズの観点から,グループ内単調性は少ないコストで達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T19:00:28Z)
• Selection by Prediction with Conformal p-values [7.917044695538599]
  本研究では,未観測結果がユーザ指定値を超える候補を選択するためのスクリーニング手順について検討する。 本研究では,任意の予測モデルをラップして候補のサブセットを生成する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-04T06:34:49Z)
• Ensemble pruning via an integer programming approach with diversity constraints [0.0]
  本稿では、二項分類問題を考察し、最適部分集合を選択する整数プログラミング(IP)アプローチを提案する。 アンサンブルにおける最小の多様性レベルを確保するための制約も提案する。 本手法は, 文学において最もよく使われている刈り取り法と比較して, 競争力のある結果をもたらす。
  論文  参考訳（メタデータ） (2022-05-02T17:59:11Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。