論文の概要: Weighting Experts with Inaccurate Judges

• arxiv url: http://arxiv.org/abs/2211.08494v1
• Date: Tue, 15 Nov 2022 20:47:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-17 14:45:27.368497
• Title: Weighting Experts with Inaccurate Judges
• Title（参考訳）: 不正確な判断で専門家を重くする
• Abstract要約: 審査員のアンサンブルを使って専門家を重み付けすれば、どの審査員よりも優れた重み付けが得られる。 審査員と専門家のエージェントの最適な分割が、どのように分布に依存するかを示す。
• 参考スコア（独自算出の注目度）: 31.564788318133264
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the problem of aggregating binary votes from an ensemble of experts to reveal an underlying binary ground truth where each expert votes correctly with some independent probability. We focus on settings where the number of agents is too small for asymptotic results to apply, many experts may vote correctly with low probability, and there is no central authority who knows the experts' competences, or their probabilities of voting correctly. Our approach is to designate a second type of agent -- a judge -- to weight the experts to improve overall accuracy. The catch is that the judge has imperfect competence just like the experts. We demonstrate that having a single minimally competent judge is often better than having none at all. Using an ensemble of judges to weight the experts can provide a better weighting than any single judge; even the optimal weighting under the right conditions. As our results show, the ability of the judge(s) to distinguish between competent and incompetent experts is paramount. Lastly, given a fixed set of agents with unknown competences drawn i.i.d. from a common distribution, we show how the optimal split of the agents between judges and experts depends on the distribution.
• Abstract（参考訳）: 我々は,各専門家が独立確率で正しく投票する,根底にある二元的事実を明らかにするために,専門家集団から二元投票を集約する問題を考える。 エージェントの数は漸近的な結果が適用できないほど小さく、多くの専門家は低い確率で正しく投票する可能性があり、専門家の能力や正しく投票する確率を知っている中央機関は存在しない。 我々のアプローチは、専門家を重み付けて全体的な正確性を改善するために、第2のタイプのエージェント -- 裁判官 -- を指定することです。 問題は、裁判官が専門家と同じように不完全な能力を持っていることだ。 我々は、最小限の能力を持つ裁判官を1人持つことが、全く持たないよりも良いことを実証する。 専門家の重み付けに裁判官のアンサンブルを使用すると、どの裁判官よりも重み付けが良くなり、適切な条件下での最適重み付けもできる。 その結果,審査員が有能な専門家と無能な専門家を区別する能力が最も重要であることがわかった。 最後に、共通の分布から引き出された未知の能力を持つエージェントの固定されたセットを考えると、審査員と専門家のエージェントの最適な分割が分布に依存するかを示す。

関連論文リスト

• A latent dimension of Condorcet's jury theorem for multiple AI advisers [0.45880283710344066]
  二項モデルでは、アドバイザーの数が増加するにつれて「目に見える反対者」はほぼ避けられなくなる。 インディペンデントと有能なアドバイザーの理想的なパネルでさえ集合的に正しいが、分割される。 アドバイザの分割方法はまた、予測多重性、和解負荷、信頼の誤校正の共通基盤を提供する。
  論文  参考訳（メタデータ） (2026-09-13T11:25:05Z)
• Sharding Prevents LLM Oversight Failures and Adversarial Exploitation [45.380649793616705]
  シャーディングは要求を小さなグループに分割し、各グループを別の呼び出しに割り当て、評決を集約する。 シャードの弱い裁判官は、より有能な総合的な裁判官よりも優れており、後者がパネルの全予算を受け取ったとしても、その裁判官と一致することができる。
  論文  参考訳（メタデータ） (2026-08-05T18:21:21Z)
• Precise but Uncoupled: Reviewer Precision Does Not Guarantee Critique Uptake in Multi-Agent Math Reasoning [9.345403722854543]
  私たちは、専用のレビューステージが間違った候補を正しい候補に変えるのに役立つという仮定をテストします。 我々は、このギャップがレビュアーの品質によって説明されるのか、それともプロトコルが進める次の回答に批判が変わるのかを問う。
  論文  参考訳（メタデータ） (2026-07-16T18:38:10Z)
• CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers [39.97153044457166]
  カテゴリ固有のベンチマークサブセットを構築し、人間のレビューが欠落している場合に評価をスキップし、完全性を強化します。 また、専門家のアノテーションとしてレビュアー-著者-レビューの議論を活用し、正確性を強化するために信頼できないレビューをフィルタリングします。 CoCoReviewBenchは、ICLRとNeurIPSから3,900の論文をキュレーションして、AIレビュアーの信頼性ときめ細かい評価を可能にする。
  論文  参考訳（メタデータ） (2026-05-08T15:44:26Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
  本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。 ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。 レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
  論文  参考訳（メタデータ） (2026-01-21T16:48:29Z)
• Algebraic Evaluation Theorems [0.0]
  MVがいつグループ決定に最適かを考える理論は、コンドルセットの1785年の陪審式決定定理にさかのぼる。 American Community Surveyによる人口統計データを用いた実験は、MVに対するAEの実用性を確認した。
  論文  参考訳（メタデータ） (2024-12-19T13:01:21Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
  評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。 本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:29:23Z)
• On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
  我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。 大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
  論文  参考訳（メタデータ） (2024-07-05T16:29:15Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [54.007823006976516]
  大規模言語モデル (LLM) を拡張性判断器 (JudgeLM) として微調整し, LLM を効率よく, かつ効率的に評価する手法を提案する。 まず, タスクシード, LLM 生成回答, GPT-4 生成判断を含む包括的, 大規模, 高品質なデータセットを提案する。 次に、微調整LDMにおける重要なバイアスを判断として分析し、位置バイアス、知識バイアス、フォーマットバイアスとみなす。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Unsupervised Opinion Aggregation -- A Statistical Perspective [5.665646276894791]
  複雑な意思決定システムは、根底にある真実が何であるかを理解するために意見に依存する。 本報告では, 基礎的真理を必要とせず, 各専門家の立場から知識を推測する統計的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-08-20T23:14:52Z)
• Peer Selection with Noisy Assessments [43.307040330622186]
  現在最も正確なピアレビューアルゴリズムであるPeerNominationをWeightedPeerNominationに拡張します。 重み付け方式により、選択の全体的な精度が大幅に向上できることを解析的に示す。
  論文  参考訳（メタデータ） (2021-07-21T14:47:11Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review [35.24369486197371]
  現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
  論文  参考訳（メタデータ） (2020-11-30T09:35:37Z)
• What Can We Do to Improve Peer Review in NLP? [69.11622020605431]
  問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。 先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
  論文  参考訳（メタデータ） (2020-10-08T09:32:21Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。