論文の概要: Group Fairness in Peer Review

• arxiv url: http://arxiv.org/abs/2410.03474v1
• Date: Fri, 4 Oct 2024 14:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:59:46.028012
• Title: Group Fairness in Peer Review
• Title（参考訳）: ピアレビューにおけるグループフェアネス
• Authors: Haris Aziz, Evi Micha, Nisarg Shah,
• Abstract要約: 本稿では,グループフェアネスの概念であるコア(core)を導入し,すべてのコミュニティ(研究者のサブセット)に対して,大規模なカンファレンスからの撤退の一方的な利益を損なうような扱いをするよう求めている。 我々は、簡単なピアレビューモデルについて研究し、常にコアにレビューの代入が認められることを証明し、そのような代入を見つけるための効率的なアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 44.580732477017904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large conferences such as NeurIPS and AAAI serve as crossroads of various AI fields, since they attract submissions from a vast number of communities. However, in some cases, this has resulted in a poor reviewing experience for some communities, whose submissions get assigned to less qualified reviewers outside of their communities. An often-advocated solution is to break up any such large conference into smaller conferences, but this can lead to isolation of communities and harm interdisciplinary research. We tackle this challenge by introducing a notion of group fairness, called the core, which requires that every possible community (subset of researchers) to be treated in a way that prevents them from unilaterally benefiting by withdrawing from a large conference. We study a simple peer review model, prove that it always admits a reviewing assignment in the core, and design an efficient algorithm to find one such assignment. We use real data from CVPR and ICLR conferences to compare our algorithm to existing reviewing assignment algorithms on a number of metrics.
• Abstract（参考訳）: NeurIPSやAAAIといった大規模なカンファレンスは、多数のコミュニティからの応募を惹きつけるため、さまざまなAI分野のクロスロードとして機能している。 しかし、一部のコミュニティではレビュー経験が不十分な場合があり、そのコミュニティ以外では資格の低いレビュアーに応募が割り当てられている。 しばしば推奨される解決策は、このような大きなカンファレンスを小さなカンファレンスに分割することだが、これはコミュニティの分離と学際的な研究の害につながる可能性がある。 我々は、この課題に取り組み、コア(core)と呼ばれるグループフェアネスの概念を導入し、可能なすべてのコミュニティ(研究者のサブセット)を、大きなカンファレンスから撤退することで、一方的に利益を得ることができない方法で扱うことを要求する。 我々は、簡単なピアレビューモデルについて研究し、常にコアにレビューの代入が認められることを証明し、そのような代入を見つけるための効率的なアルゴリズムを設計する。 CVPRとICLRのカンファレンスの実際のデータを使って、アルゴリズムと既存のレビュー割り当てアルゴリズムを、さまざまなメトリクスで比較しています。

関連論文リスト

• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Robust Consensus Clustering and its Applications for Advertising Forecasting [18.242055675730253]
  我々は,専門家の意見に共通する根拠となる真実を見出すことのできる,ロバストなコンセンサスクラスタリングという新しいアルゴリズムを提案する。 提案手法を実世界の広告キャンペーンセグメンテーションと予測タスクに適用する。
  論文  参考訳（メタデータ） (2022-12-27T21:49:04Z)
• Spatio-Temporal Graph Representation Learning for Fraudster Group Detection [50.779498955162644]
  企業は、偽レビューを書くために詐欺師グループを雇い、競合相手をデモしたり、自分のビジネスを宣伝したりすることができる。 そのようなグループを検出するには、詐欺師グループの静的ネットワークを表現するのが一般的なモデルである。 両レビュアーの表現学習におけるHIN-RNNの有効性を第一に活用することを提案する。
  論文  参考訳（メタデータ） (2022-01-07T08:01:38Z)
• Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design [76.40919326501512]
  総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか? 実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-08-13T19:29:41Z)
• Some Ethical Issues in the Review Process of Machine Learning Conferences [0.38073142980733]
  最近の機械学習コミュニティの成功により、カンファレンスに提出された論文の数が大幅に増加した。 この増加は、これらのカンファレンスが使用している現在のレビュープロセスに影響を及ぼすいくつかの問題をより顕著にした。 本研究では, 審査員の採用問題, 二重盲検プロセスの侵害, 不正行為, 数値評価のバイアス, 付録現象について検討した。
  論文  参考訳（メタデータ） (2021-06-01T21:22:41Z)
• A Novice-Reviewer Experiment to Address Scarcity of Qualified Reviewers in Large Conferences [35.24369486197371]
  主要なAIカンファレンスから受け取った応募数の増加は、レビュープロセスの持続可能性に挑戦している。 我々は,大規模なカンファレンスにおけるレビュアーの資格不足に着目して,レビュアー採用の問題を考える。 大規模でトップクラスの機械学習カンファレンスであるICML 2020と合わせて、私たちの手順を通じて少数のレビュアーを募集し、ICMLレビュアーの一般人口と比較します。
  論文  参考訳（メタデータ） (2020-11-30T17:48:55Z)
• What Can We Do to Improve Peer Review in NLP? [69.11622020605431]
  問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。 先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
  論文  参考訳（メタデータ） (2020-10-08T09:32:21Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)
• A Correspondence Analysis Framework for Author-Conference Recommendations [2.1055643409860743]
  我々は、会議や論文など、問題のエンティティ間の適切な関係を導出するために、対応分析(CA)を利用する。 本モデルは,コンテンツベースフィルタリング,協調フィルタリング,ハイブリッドフィルタリングなどの既存手法と比較して有望な結果を示す。
  論文  参考訳（メタデータ） (2020-01-08T18:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。