論文の概要: Recommending Best Paper Awards for ML/AI Conferences via the Isotonic Mechanism

• arxiv url: http://arxiv.org/abs/2601.15249v1
• Date: Wed, 21 Jan 2026 18:30:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.49344
• Title: Recommending Best Paper Awards for ML/AI Conferences via the Isotonic Mechanism
• Title（参考訳）: 異方性メカニズムによるML/AI学会ベスト論文賞の推薦
• Authors: Garrett G. Wen, Buxin Su, Natalie Collina, Zhun Deng, Weijie Su,
• Abstract要約: 著者支援機構を導入し,論文賞の選定を容易にする。 本手法では,著者の提出した論文に対する評価をアイソトニック・メカニズムを用いて抽出する。 実用関数が単に非減少かつ加法的である場合でも、真性は成り立つことを証明します。
• 参考スコア（独自算出の注目度）: 10.746401441903174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning and artificial intelligence conferences such as NeurIPS and ICML now regularly receive tens of thousands of submissions, posing significant challenges to maintaining the quality and consistency of the peer review process. This challenge is particularly acute for best paper awards, which are an important part of the peer review process, yet whose selection has increasingly become a subject of debate in recent years. In this paper, we introduce an author-assisted mechanism to facilitate the selection of best paper awards. Our method employs the Isotonic Mechanism for eliciting authors' assessments of their own submissions in the form of a ranking, which is subsequently utilized to adjust the raw review scores for optimal estimation of the submissions' ground-truth quality. We demonstrate that authors are incentivized to report truthfully when their utility is a convex additive function of the adjusted scores, and we validate this convexity assumption for best paper awards using publicly accessible review data of ICLR from 2019 to 2023 and NeurIPS from 2021 to 2023. Crucially, in the special case where an author has a single quota -- that is, may nominate only one paper -- we prove that truthfulness holds even when the utility function is merely nondecreasing and additive. This finding represents a substantial relaxation of the assumptions required in prior work. For practical implementation, we extend our mechanism to accommodate the common scenario of overlapping authorship. Finally, simulation results demonstrate that our mechanism significantly improves the quality of papers selected for awards.
• Abstract（参考訳）: NeurIPSやICMLといった機械学習や人工知能のカンファレンスは、現在何万もの投稿を定期的に受け付けており、ピアレビュープロセスの品質と一貫性を維持する上で大きな課題となっている。 この挑戦は、ピアレビュープロセスの重要な部分である最高の論文賞にとって特に急進的なものであり、その選考は近年ますます議論の対象となっている。 本稿では,ベストペーパー賞の選定を容易にするための著者支援機構について紹介する。 提案手法では,著者が提出した論文をランキング形式で評価するためにアイソトニック・メカニズムを用い,その評価スコアを最適化し,提案論文の質を最適に評価する。 筆者らは,2019年から2023年までのICLRの公開レビューデータと2021年から2023年までのNeurIPSを用いて,調整したスコアの凸付加関数が有効である場合に,著者が真に報告するインセンティブがあることを実証した。 重要なことに、著者が1つのクォータ、すなわち1つの論文だけを推薦する特別な場合において、ユーティリティ関数が単に非減少かつ加法的である場合にも、真理性は成り立つことを証明します。 この発見は、事前の作業に必要な仮定をかなり緩和することを意味する。 実践的な実装のために、著者の重複する一般的なシナリオに対応するために、我々のメカニズムを拡張します。 最後に, シミュレーションの結果から, 受賞論文の質が著しく向上することが示唆された。

関連論文リスト

• The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
  著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• From Words to Worth: Newborn Article Impact Prediction with LLM [69.41680520058418]
  本稿では, LLMの能力を活用して, 新生記事の今後の影響を予測する, 有望なアプローチを提案する。 提案手法はLLMを用いて,高インパクトな論文の共有意味的特徴をタイトルと抽象的なペアの集合から識別する。 提案手法は, 0.216のMAEと0.901のNDCG@20を用いて, 提案手法が最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-07T17:52:02Z)
• EFaR 2023: Efficient Face Recognition Competition [51.77649060180531]
  バイオメトリックス国際会議(IJCB 2023)における効率的な顔認識コンペティション(EFaR)の概要について述べる。 この競技会は6つの異なるチームから17の応募を受けた。 提案したソリューションは、様々なベンチマークで達成された検証精度の重み付けスコアと、浮動小数点演算数とモデルサイズによって与えられるデプロイ可能性に基づいてランク付けされる。
  論文  参考訳（メタデータ） (2023-08-08T09:58:22Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• Isotonic Mechanism for Exponential Family Estimation in Machine Learning Peer Review [28.06558596439521]
  2023年、ICML(International Conference on Machine Learning)は、複数の投稿者に対して、認識された品質に基づいて応募をランク付けするよう要求した。 我々は、これらの著者特定ランキングを用いて、機械学習および人工知能会議におけるピアレビューを強化する。 著者特定ランキングに固執しながら、原譜と密接に一致した調整されたスコアを生成する。
  論文  参考訳（メタデータ） (2023-04-21T17:59:08Z)
• You Are the Best Reviewer of Your Own Papers: The Isotonic Mechanism [2.5336146096572745]
  ノイズレビュースコアの精度を高めるためにイソトニックメカニズムを導入する。 複数の論文を提出した著者は、評価された品質の順に論文をランク付けする必要がある。 調整されたスコアは 生のスコアよりも正確です
  論文  参考訳（メタデータ） (2022-06-14T14:35:53Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。