論文の概要: You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism

• arxiv url: http://arxiv.org/abs/2110.14802v1
• Date: Wed, 27 Oct 2021 22:11:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-30 08:57:48.812272
• Title: You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism
• Title（参考訳）: あなた自身の論文のベストレビュアー: オーナ支援スコアリングメカニズム
• Authors: Weijie J. Su
• Abstract要約: イソトニックメカニズムは、所有者が提供にインセンティブを与えている特定の情報を活用することで、不正確な生のスコアを改善する。 凸最適化問題を解くことにより,各項目の調整点を報告する。 私は、この所有者支援機構によって提供される調整されたスコアが、レビュアーによって提供される生のスコアよりもかなり正確であることを証明します。
• 参考スコア（独自算出の注目度）: 17.006003864727408
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: I consider the setting where reviewers offer very noisy scores for a number of items for the selection of high-quality ones (e.g., peer review of large conference proceedings) whereas the owner of these items knows the true underlying scores but prefers not to provide this information. To address this withholding of information, in this paper, I introduce the \textit{Isotonic Mechanism}, a simple and efficient approach to improving on the imprecise raw scores by leveraging certain information that the owner is incentivized to provide. This mechanism takes as input the ranking of the items from best to worst provided by the owner, in addition to the raw scores provided by the reviewers. It reports adjusted scores for the items by solving a convex optimization problem. Under certain conditions, I show that the owner's optimal strategy is to honestly report the true ranking of the items to her best knowledge in order to maximize the expected utility. Moreover, I prove that the adjusted scores provided by this owner-assisted mechanism are indeed significantly more accurate than the raw scores provided by the reviewers. This paper concludes with several extensions of the Isotonic Mechanism and some refinements of the mechanism for practical considerations.
• Abstract（参考訳）: 質の高いもの(例えば、大規模な会議手続のピアレビュー)の選択に関して、レビュー担当者が非常に騒々しいスコアを提示するのに対して、これらの項目の所有者は真の基盤となるスコアを知っていますが、この情報は提供しないでください。 情報の保持を抑えるため,本稿では,オーナーが提供にインセンティブを与える情報を活用することで,不正確な生のスコアを改善するためのシンプルかつ効率的なアプローチである「textit{Isotonic Mechanism}」を紹介します。 このメカニズムは、レビュアーが提供する生のスコアに加えて、オーナーが提供した最善から最悪の項目のランキングを入力します。 凸最適化問題を解くことで項目の調整点を報告する。 ある条件下では, 所有者の最適戦略は, 期待する実用性を最大化するために, 商品の真のランク付けを最良知識に正直に報告することである。 また,この所有者支援機構による調整スコアは,レビュアーが提供した生スコアよりも有意に精度が高いことを証明した。 本稿では、等張機構のいくつかの拡張と、実際的考察のための機構のいくつかの改良によって結論づける。

関連論文リスト

• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
  評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。 本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:29:23Z)
• Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
  本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。 鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
  論文  参考訳（メタデータ） (2023-11-24T17:27:39Z)
• The Isotonic Mechanism for Exponential Family Estimation [31.542906034919977]
  2023年、ICML(International Conference on Machine Learning)は、複数の投稿者に対して、認識された品質に基づいて応募をランク付けするよう要求した。 本稿では,これらの著者別ランキングを用いて,機械学習および人工知能会議におけるピアレビューを強化することを目的とする。 このメカニズムは、著者特定ランキングに固執しながら、元のスコアと密接に一致した調整されたスコアを生成する。
  論文  参考訳（メタデータ） (2023-04-21T17:59:08Z)
• Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer Assignment [89.38213318211731]
  入札の利点にもかかわらず、紙入札への依存は、悪意のあるレビュアーが非倫理的な目的のために紙の割り当てを操作できるようにする。 この操作を防ぐためのいくつかの異なるアプローチが提案され、デプロイされている。 本稿では,入札操作に対処するアルゴリズムが満足すべき特定の望ましい特性を列挙する。
  論文  参考訳（メタデータ） (2022-07-22T19:58:17Z)
• Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
  我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。 本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。 我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
  論文  参考訳（メタデータ） (2022-07-04T17:49:25Z)
• An Efficient and Accurate Rough Set for Feature Selection, Classification and Knowledge Representation [89.5951484413208]
  本稿では, 特徴選択, 分類, 知識表現を同時に実現する, 粗集合に基づく強力なデータマイニング手法を提案する。 まず, ノイズ特性の処理において, 粗集合の非効率性について検討し, 相対的重要度と呼ばれる特性のロバストな測定法を提案する。 公開ベンチマークデータセットによる実験結果から,提案フレームワークは7つの人気や最先端の機能選択手法よりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-12-29T12:45:49Z)
• Peer Selection with Noisy Assessments [43.307040330622186]
  現在最も正確なピアレビューアルゴリズムであるPeerNominationをWeightedPeerNominationに拡張します。 重み付け方式により、選択の全体的な精度が大幅に向上できることを解析的に示す。
  論文  参考訳（メタデータ） (2021-07-21T14:47:11Z)
• Explaining reputation assessments [6.87724532311602]
  本稿では,定量的評価モデルによる評価の根拠を説明するためのアプローチを提案する。 提案手法は,複数属性決定モデルを用いて決定を下すための既存のアプローチを適応し,拡張し,組み合わせる。
  論文  参考訳（メタデータ） (2020-06-15T23:19:35Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。