論文の概要: Isotonic Mechanism for Exponential Family Estimation in Machine Learning Peer Review
- arxiv url: http://arxiv.org/abs/2304.11160v4
- Date: Tue, 11 Feb 2025 15:50:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:02:58.935866
- Title: Isotonic Mechanism for Exponential Family Estimation in Machine Learning Peer Review
- Title（参考訳）: 機械学習ピーアレビューにおける家族推定のためのアイソトニックメカニズム
- Authors: Yuling Yan, Weijie J. Su, Jianqing Fan,
- Abstract要約: 2023年、ICML(International Conference on Machine Learning)は、複数の投稿者に対して、認識された品質に基づいて応募をランク付けするよう要求した。
我々は、これらの著者特定ランキングを用いて、機械学習および人工知能会議におけるピアレビューを強化する。
著者特定ランキングに固執しながら、原譜と密接に一致した調整されたスコアを生成する。
- 参考スコア（独自算出の注目度）: 28.06558596439521
- License:
- Abstract: In 2023, the International Conference on Machine Learning (ICML) required authors with multiple submissions to rank their submissions based on perceived quality. In this paper, we aim to employ these author-specified rankings to enhance peer review in machine learning and artificial intelligence conferences by extending the Isotonic Mechanism to exponential family distributions. This mechanism generates adjusted scores that closely align with the original scores while adhering to author-specified rankings. Despite its applicability to a broad spectrum of exponential family distributions, implementing this mechanism does not require knowledge of the specific distribution form. We demonstrate that an author is incentivized to provide accurate rankings when her utility takes the form of a convex additive function of the adjusted review scores. For a certain subclass of exponential family distributions, we prove that the author reports truthfully only if the question involves only pairwise comparisons between her submissions, thus indicating the optimality of ranking in truthful information elicitation. Moreover, we show that the adjusted scores improve dramatically the estimation accuracy compared to the original scores and achieve nearly minimax optimality when the ground-truth scores have bounded total variation. We conclude with a numerical analysis of the ICML 2023 ranking data, showing substantial estimation gains in approximating a proxy ground-truth quality of the papers using the Isotonic Mechanism.
- Abstract（参考訳）: 2023年、ICML(International Conference on Machine Learning)は、複数の投稿者に対して、認識された品質に基づいて応募をランク付けするよう要求した。
本稿では,Isotonicのメカニズムを指数関数的な家族分布に拡張することで,機械学習および人工知能会議におけるピアレビューを強化するために,これらの著者別ランキングを活用することを目的とする。
このメカニズムは、著者特定ランキングに固執しながら、元のスコアと密接に一致した調整されたスコアを生成する。
指数族分布の幅広いスペクトルに適用可能であるにもかかわらず、この機構を実装するには特定の分布形式に関する知識は必要ない。
著者が調整されたレビュースコアの凸付加関数の形式をとると、著者が正確なランキングを提供するインセンティブが得られたことを実証する。
指数関数的家族分布のある種のサブクラスについて、著者が真に報告するのは、その質問が提出物間のペア比較にのみかかわる場合のみであり、真に情報を引き出す際のランク付けの最適性を示す。
さらに, 調整したスコアは, 原点よりも推定精度が劇的に向上し, 接地トラススコアが総変動に束縛された場合, ほぼ最小の最適性が得られることを示した。
筆者らはICML 2023ランキングデータの数値解析を行い,イソトニック機構を用いた論文の代用的基盤構造品質の近似において,かなりの推定精度を示した。
関連論文リスト
- Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation [20.022623972491733]
大きな言語モデル(LLM)のランク付けは、$N$のポリシーに基づいてアライメントを改善する効果的なツールであることが証明されている。
本稿では,言語モデルのランキングの中から仮説テストのための新しい推論フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-07T02:34:30Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Being Aware of Localization Accuracy By Generating Predicted-IoU-Guided
Quality Scores [24.086202809990795]
予測IoUにより誘導される局所化品質スコアを取得するためのエレガントなLQEブランチを開発する。
CLQと呼ばれる新しい1段検出器が提案されている。
実験の結果、CLQは47.8 APと11.5fpsの精度で最先端の性能を達成した。
論文 参考訳（メタデータ） (2023-09-23T05:27:59Z) - Predicting article quality scores with machine learning: The UK Research
Excellence Framework [6.582887504429817]
正確性は、医学・物理科学ユニット・オブ・アセスメント(UoAs)と経済学で最も高い。
社会科学、数学、工学、芸術、人文科学、そしてUoAsの基準の上の予測精度は、より低いかゼロに近いものであった。
提案手法は,能動的学習戦略による精度の向上と,予測確率の高い記事の選択により,アルゴリズムによって推定される結果の予測回数を大幅に削減する。
論文 参考訳（メタデータ） (2022-12-11T05:45:12Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳（メタデータ） (2022-04-21T15:52:14Z) - You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring
Mechanism [17.006003864727408]
イソトニックメカニズムは、所有者が提供にインセンティブを与えている特定の情報を活用することで、不正確な生のスコアを改善する。
凸最適化問題を解くことにより,各項目の調整点を報告する。
私は、この所有者支援機構によって提供される調整されたスコアが、レビュアーによって提供される生のスコアよりもかなり正確であることを証明します。
論文 参考訳（メタデータ） (2021-10-27T22:11:29Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。
禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。
我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
論文 参考訳（メタデータ） (2020-10-27T08:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。