論文の概要: You Are the Best Reviewer of Your Own Papers: The Isotonic Mechanism

• arxiv url: http://arxiv.org/abs/2206.08149v2
• Date: Wed, 05 Mar 2025 19:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 19:22:36.928926
• Title: You Are the Best Reviewer of Your Own Papers: The Isotonic Mechanism
• Title（参考訳）: あなたは自分の論文のベストレビュアーだ:アイソトニックなメカニズム
• Authors: Weijie Su,
• Abstract要約: ノイズレビュースコアの精度を高めるためにイソトニックメカニズムを導入する。 複数の論文を提出した著者は、評価された品質の順に論文をランク付けする必要がある。 調整されたスコアは 生のスコアよりも正確です
• 参考スコア（独自算出の注目度）: 1.7741566627076264
• License:
• Abstract: Machine learning (ML) and artificial intelligence (AI) conferences including NeurIPS and ICML have experienced a significant decline in peer review quality in recent years. To address this growing challenge, we introduce the Isotonic Mechanism, a computationally efficient approach to enhancing the accuracy of noisy review scores by incorporating authors' private assessments of their submissions. Under this mechanism, authors with multiple submissions are required to rank their papers in descending order of perceived quality. Subsequently, the raw review scores are calibrated based on this ranking to produce adjusted scores. We prove that authors are incentivized to truthfully report their rankings because doing so maximizes their expected utility, modeled as an additive convex function over the adjusted scores. Moreover, the adjusted scores are shown to be more accurate than the raw scores, with improvements being particularly significant when the noise level is high and the author has many submissions -- a scenario increasingly prevalent at large-scale ML/AI conferences. We further investigate whether submission quality information beyond a simple ranking can be truthfully elicited from authors. We establish that a necessary condition for truthful elicitation is that the mechanism be based on pairwise comparisons of the author's submissions. This result underscores the optimality of the Isotonic Mechanism, as it elicits the most fine-grained truthful information among all mechanisms we consider. We then present several extensions, including a demonstration that the mechanism maintains truthfulness even when authors have only partial rather than complete information about their submission quality. Finally, we discuss future research directions, focusing on the practical implementation of the mechanism and the further development of a theoretical framework inspired by our mechanism.
• Abstract（参考訳）: NeurIPSやICMLを含む機械学習(ML)や人工知能(AI)のカンファレンスは、近年、ピアレビューの品質が大幅に低下している。 この増大する課題に対処するために,著者の個人評価を取り入れることで,ノイズレビュースコアの精度を高めるための計算効率のよい手法であるイソトニックメカニズムを導入する。 このメカニズムの下では、複数の論文を提出した著者は、評価された品質の順に論文をランク付けする必要がある。 その後、このランキングに基づいて生のレビュースコアを校正し、調整されたスコアを生成する。 調整されたスコアに対して加算凸関数としてモデル化された予測効用を最大化するため、著者が真にランキングを報告するインセンティブがあることを実証する。 さらに、調整されたスコアは生のスコアよりも正確であることが示されており、ノイズレベルが高く、著者が多数提出している場合には特に改善が重要である。 さらに、簡単なランキングを超えた品質情報を著者から真に導き出すことができるかどうかについても検討する。 本研究は,著者の提出した論文のペア比較に基づいて,そのメカニズムが真理性推論に必要な条件であることが確認された。 この結果は、我々が考慮しているすべてのメカニズムの中で最もきめ細かい真理情報を引き出すため、イソトニック機構の最適性を強調している。 そして、著者が提出された品質についての完全な情報ではなく、部分的な情報しか持たない場合でも、そのメカニズムが真実性を維持するというデモンストレーションを含む、いくつかの拡張を提示します。 最後に,そのメカニズムの実践的実装と,我々のメカニズムに触発された理論的枠組みのさらなる発展に焦点をあてて,今後の研究の方向性について論じる。

関連論文リスト

• Additive-Effect Assisted Learning [17.408937094829007]
  我々はエージェントAliceのための2段階学習アーキテクチャを開発し、別のエージェントBobの助けを求める。 最初の段階では、Alice が Bob のデータの有用性を決定するために、プライバシを意識した仮説テストベースのスクリーニング手法を提案する。 Alice は,理論的にも数値的にも,訓練が集中的なデータからであるかのように,オラクルのパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2024-05-13T23:24:25Z)
• What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning [52.51430732904994]
  強化学習問題では、エージェントはリターンを最大化しながら長期的な公正性を考慮する必要がある。 近年の研究では様々なフェアネスの概念が提案されているが、RL問題における不公平性がどのように生じるかは定かではない。 我々は、環境力学から生じる不平等を明示的に捉える、ダイナミックスフェアネスという新しい概念を導入する。
  論文  参考訳（メタデータ） (2024-04-16T22:47:59Z)
• Alignment for Honesty [105.72465407518325]
  最近の研究は、大きな言語モデル(LLM)を有用性と無害性と整合させることに大きく貢献している。 本稿は,LLMが知識の欠如に積極的に回答を拒むことを確実にする,エンフォネストリーにおけるアライメントの重要性を論じる。 これらの課題に対処するために、まずは正確な問題定義を確立し、儒教の分析に触発された「誠実さ」を定義します。
  論文  参考訳（メタデータ） (2023-12-12T06:10:42Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Adam: Dense Retrieval Distillation with Adaptive Dark Examples [104.01735794498767]
  本稿では,教師が持つ暗黒知識を適応暗黒エクストリームで伝達する知識蒸留フレームワークであるADAMを提案する。 2つの広く利用されているベンチマークで実験を行い、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-12-20T12:03:19Z)
• Identifying the value of a random variable unambiguously: Quantum versus classical approaches [44.99833362998488]
  量子リソースは、古典的なリソースよりも有利である。 我々は、Refereeが仲介し、AliceとBobの間でプレイするゲームに基づいてそのようなタスクを構築する。 アリスが古典的情報を限られた量送った場合、ゲームに勝つには「古典的情報の限られた量」の量子アナログが十分であるのに対し、ゲームは勝てないことを示す。
  論文  参考訳（メタデータ） (2022-11-16T20:28:49Z)
• Simultaneous Measurement and Entanglement [0.0]
  LOCCがAliceとBobに最適な2つの製品状態の区別を可能にすることを示す。 LOCCは、製品状態の区別のためのベルペアよりも、ほぼ常に有効であることがわかった。
  論文  参考訳（メタデータ） (2022-01-25T23:11:29Z)
• Linear Gaussian Quantum State Smoothing: Understanding the optimal unravelings for Alice to estimate Bob's state [0.0]
  量子状態平滑化(quantum state smoothing)は、特定の時間における量子状態の見積を構築する手法である。 アリスの平滑化の有効性に対するボブの測定選択の影響は、近年多くの論文で研究されている。 アリスの測度選択から最適な測度選択を近似できる簡単な仮説を考案する。
  論文  参考訳（メタデータ） (2020-08-31T04:04:50Z)
• Superadditivity of channel capacity through quantum fields [0.0]
  本研究では,送信者のアリスが量子場における情報伝達障害を引き起こすシナリオについて検討する。 我々は、Aliceと受信機のBobの間のチャネル容量が、Bobが検出器を配置するだけでなく、Aliceの符号化操作の因果的未来にも及んでいることを発見した。
  論文  参考訳（メタデータ） (2020-02-11T00:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。