論文の概要: Least Square Calibration for Peer Review

• arxiv url: http://arxiv.org/abs/2110.12607v1
• Date: Mon, 25 Oct 2021 02:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 06:31:01.744713
• Title: Least Square Calibration for Peer Review
• Title（参考訳）: ピアレビューのための最小正方形校正
• Authors: Sijun Tan, Jibang Wu, Xiaohui Bei, Haifeng Xu
• Abstract要約: ピアレーティングから上位候補を選択するためのフレキシブルなフレームワーク、すなわち最小二乗キャリブレーション(LSC)を提案する。 本フレームワークは、軽度仮定の下で、ノイズのない線形スコアリング関数の完全校正を確実に行う。 我々のアルゴリズムは、最高評価値に基づいて上位論文を選択するベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 18.063450032460047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review systems such as conference paper review often suffer from the issue of miscalibration. Previous works on peer review calibration usually only use the ordinal information or assume simplistic reviewer scoring functions such as linear functions. In practice, applications like academic conferences often rely on manual methods, such as open discussions, to mitigate miscalibration. It remains an important question to develop algorithms that can handle different types of miscalibrations based on available prior knowledge. In this paper, we propose a flexible framework, namely least square calibration (LSC), for selecting top candidates from peer ratings. Our framework provably performs perfect calibration from noiseless linear scoring functions under mild assumptions, yet also provides competitive calibration results when the scoring function is from broader classes beyond linear functions and with arbitrary noise. On our synthetic dataset, we empirically demonstrate that our algorithm consistently outperforms the baseline which select top papers based on the highest average ratings.
• Abstract（参考訳）: 会議論文レビューのようなピアレビューシステムは、しばしば誤校正の問題に悩まされる。 ピアレビュー校正に関する以前の研究は、通常、順序情報のみを使用するか、線形関数のような単純なレビュアースコアリング関数を仮定する。 実際には、学術会議のようなアプリケーションは、しばしば誤解を和らげるためにオープンな議論のような手動の手法に頼っている。 利用可能な事前知識に基づいて異なるタイプの誤校正を処理できるアルゴリズムを開発することは依然として重要な問題である。 本稿では,ピアレーティングから最上位候補を選択するための柔軟な枠組み,すなわち最小正方形キャリブレーション(lsc)を提案する。 提案手法は,軽度仮定下で無騒音線形採点関数から完全校正を行うが,得点関数が線形関数を超える幅広いクラスと任意のノイズを持つ場合の競合校正結果も提供する。 合成データセット上では、アルゴリズムが最高評価値に基づいてトップ論文を選択するベースラインを一貫して上回っていることを実証的に示す。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Calibration-Disentangled Learning and Relevance-Prioritized Reranking for Calibrated Sequential Recommendation [18.913912876509187]
  キャリブレーションされたレコメンデーションは、レコメンデーション内のカテゴリのパーソナライズされた比率を維持することを目的としている。 従来手法では、モデルトレーニング後のレコメンデーションをキャリブレーションするために、リグレードアルゴリズムを利用するのが一般的だった。 本稿では、シーケンシャルレコメンデーションのキャリブレーションのための新しいアプローチであるLeapRecを提案する。
  論文  参考訳（メタデータ） (2024-08-04T22:23:09Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Estimating Classification Confidence Using Kernel Densities [0.0]
  本稿では,「探索的」機械学習分類問題に対する信頼性のポストホック校正について検討する。 カテゴリー固有の信頼度推定の慣用性を扱うために設計された4つの新しいアルゴリズムを導入・テストする。
  論文  参考訳（メタデータ） (2022-07-13T21:57:44Z)
• Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
  本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。 この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
  論文  参考訳（メタデータ） (2022-03-28T21:22:22Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)
• Better Classifier Calibration for Small Data Sets [0.0]
  キャリブレーションのためのデータ生成により,キャリブレーションアルゴリズムの性能が向上することを示す。 提案手法は計算コストを増大させるが、主なユースケースは小さなデータセットであるので、この余分な計算コストは重要ではない。
  論文  参考訳（メタデータ） (2020-02-24T12:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。