論文の概要: A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

• arxiv url: http://arxiv.org/abs/2610.21085v1
• Date: Thu, 15 Oct 2026 01:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.120136
• Title: A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models
• Title（参考訳）: 選挙人ではなく陪審員:言語モデルの集合に対するラベルなし信頼度推定
• Abstract要約: 言語モデルの集合は陪審であり、選挙人ではない。 私たちは専門家を陪審員としてモデル化します。 その決定ルールは, 専門家の回答分布よりも, 対数重み付き線形スコアに還元されることを示す。
• 参考スコア（独自算出の注目度）: 40.60699787009021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An ensemble of language models is a jury, not an electorate. The answers are testimony from witnesses of unknown reliability, and the question is not what the majority said but who is credible. Most ensemble methods assign each expert a fixed reputation, often learned from labels. We ask whether it can instead be inferred from the pattern of agreement and disagreement among the experts. We model the experts as a jury: each question has a latent true answer, each expert reports it with unknown reliability, and those reliabilities are estimated by Expectation Maximisation (EM) from unlabelled answer configurations alone. We show that its decision rule reduces to a log-odds weighted linear score over the experts' answer distributions. What changes is not how the jury votes, but how it learns whom to trust. On a 1560-question benchmark, the jury, with nine experts of up to 3B parameters, performs comparably to the same fusion rule with label-fitted weights, showing no statistically significant advantage from supervision. Instead, it outperforms the best single model with matched self-consistency and the strongest label-free alternative on the full benchmark.
• Abstract（参考訳）: 言語モデルの集合は陪審であり、選挙人ではない。 答えは、未知の信頼性の証人による証言であり、疑問は、大多数が何を言ったかではなく、誰が信頼できるかである。 ほとんどのアンサンブル法は各専門家に一定の評価を与え、しばしばラベルから学習する。 専門家の間で合意と意見の不一致のパターンから推測できるかどうかを問う。 我々は、専門家を陪審員としてモデル化する: 各質問は、遅れた真の答えを持ち、各専門家は、それを未知の信頼性で報告し、これらの信頼度は、未解決の回答構成のみから期待最大化(EM)によって推定される。 その決定ルールは, 専門家の回答分布よりも, 対数重み付き線形スコアに還元されることを示す。 変更点は、陪審員の投票方法ではなく、誰が信頼できるかを学ぶ方法だ。 1560年の審査基準では、審査員は最大3Bパラメータの9人の専門家とともに、ラベルに適合した重みで同じ融合規則に適合して行動し、統計学的には監督の利点を示さなかった。 代わりに、一致した自己整合性と、ベンチマーク全体において最強のラベルフリーの選択肢で、最高のシングルモデルを上回っている。

関連論文リスト

• Reliable Fusion of Conflicting Experts [42.48375413909452]
  複数のブラックボックスの専門家による、騒々しい、紛争を起こしやすい環境における意見の集約の問題について検討する。 本稿では,コンテキスト固有の信頼度推定値を用いて,専門家の応答を結合した,トラクタブルで確率的な循環型融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-21T16:20:48Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
  LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。 私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
  論文  参考訳（メタデータ） (2026-05-28T11:48:17Z)
• Are Independently Estimated View Uncertainties Comparable? Unified Routing for Trusted Multi-View Classification [28.07900590930962]
  We propose Trusted Multi-view Learning with Unified Routing (TMUR) which decouples view-specific evidence extract from fusion arbitration。 TMURはビュープライベートの専門家と1人のコラボレーティブエキスパートを使用し、グローバルなマルチビューコンテキストを観察してサンプルレベルのエキスパートウェイトを生成する統一ルータを使用している。
  論文  参考訳（メタデータ） (2026-04-10T12:58:11Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning [48.14470449860784]
  テスト時強化学習(TTRL)は、推論時に合成信号のみを使用してモデルを適応するためのラベルなしパラダイムを提供する。 簡単な直感に基づくフレームワークであるSelf-Harmonyを紹介します。
  論文  参考訳（メタデータ） (2025-11-03T03:34:34Z)
• Algebraic Evaluation Theorems [0.0]
  MVがいつグループ決定に最適かを考える理論は、コンドルセットの1785年の陪審式決定定理にさかのぼる。 American Community Surveyによる人口統計データを用いた実験は、MVに対するAEの実用性を確認した。
  論文  参考訳（メタデータ） (2024-12-19T13:01:21Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• Who Reviews The Reviewers? A Multi-Level Jury Problem [20.193491214464185]
  我々は、ある独立した確率(コンピテンス)で、基礎的真理についての推測を正しく表現する独立したレビュアー(専門家)のグループからのアドバイスを用いて二元的基底的真理を決定するという問題を考察する。 実践的な設定では、レビュアーは非能率であり、すなわち半分以下の能力であり、専門家の数は少ないかもしれないため、コンドルチェット・ジャリー・セオリームは実際は関係がない。 より多くの椅子を持つ方がよい場合もあるが、多くの場合、より多くのレビュアーを持つほうがよい。
  論文  参考訳（メタデータ） (2022-11-15T20:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。