論文の概要: Aggregate Disambiguation Systems

• arxiv url: http://arxiv.org/abs/2608.30805v1
• Date: Mon, 31 Aug 2026 13:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.427211
• Title: Aggregate Disambiguation Systems
• Title（参考訳）: 集合的曖昧化システム
• Abstract要約: タスクと候補ソリューションが与えられた場合、各評価者は、そのソリューションが受け入れられるべきかどうかについてバイナリ投票を行う。 ターゲットは、意味的真理ではなく、明示的に宣言された評価者参照に対するプロトコルである。 有限標本を用いて、有限パネルが宣言された評価値と同じ決定に達する頻度を推定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural-language tasks can elicit different verdicts from protocol-following evaluators that receive the same declared information. We study aggregate disambiguation systems (ADSs). Given a task and a candidate solution, each evaluator casts a binary vote on whether the solution should be accepted, and the system aggregates the votes of a finite panel. The target is protocol reproducibility relative to an explicitly declared evaluator reference, not semantic truth. We separate fixed finite censuses, probabilistic evaluator populations, and growing-census limits, since their endpoint laws and guarantees are not interchangeable. In the population setting, we use finite samples to estimate how often a finite panel reaches the same decision as the declared evaluator population. We provide a lower confidence bound on the fraction of candidate solutions for which the disagreement probability is at most a chosen tolerance. The calculation accounts separately for sampling candidate solutions and sampling evaluators. The construction permits arbitrary dependence among columns induced by shared evaluator rows and uses exact binomial intervals at the evaluator layer and an exact one-sided binomial inversion at the generator layer. Simulations check the implementation against known population coverages and expose power limitations.
• Abstract（参考訳）: 自然言語タスクは、同じ宣言された情報を受け取るプロトコルをフォローする評価者から異なる判断を導き出すことができる。 集合的曖昧化システム(ADS)について検討する。 タスクと候補解が与えられた場合、各評価者は、その解が受け入れられるべきかどうかを二分投票し、システムは有限パネルの票を集計する。 ターゲットはプロトコルの再現性であり、セマンティックな真実ではなく、明示的に宣言された評価者参照に対するものである。 終点法則と保証は交換できないため、固定された有限の国勢調査、確率的評価者人口、および増大するセンサス限界を分離する。 人口設定では、有限パネルが宣言された評価値と同じ決定に達する頻度を推定するために有限サンプルを用いる。 我々は、不一致確率が少なくとも選択された寛容である候補解の分数に縛られる低い信頼度を与える。 計算は、サンプリング候補解とサンプリング評価器を別々に説明する。 この構造は、共有評価器列によって誘導される列間の任意の依存を許容し、評価器層における正確な二項間隔とジェネレータ層における正確な一辺二項反転を利用する。 シミュレーションは、既知の人口被覆に対する実装を確認し、電力制限を公開する。

関連論文リスト

• Finding Common Ground in a Sea of Alternatives [22.60243910902928]
  多様な人口嗜好にまたがる共通基盤を見いだす文を選別する問題について検討する。 生成AIは、事実上無限のステートメントセットにアクセスすることができるため、このタスクに一意に適している。 本稿では,社会選択の比例的ベトコアに基づく,無限の代替設定における共通基盤を見つけるための公式なモデルを提案する。
  論文  参考訳（メタデータ） (2026-03-17T16:28:37Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models [0.27309692684728604]
  大規模言語モデル(LLM)は、選択肢の位置やラベルに固有のバイアスを生かして、複数の選択タスクの膨らませたスコアを達成できる。 本研究では,データセットに依存しない方法で選択バイアスを計測・緩和するSCOPEを提案する。
  論文  参考訳（メタデータ） (2025-07-24T08:28:17Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Sample size planning for conditional counterfactual mean estimation with a K-armed randomized experiment [0.0]
  K$のランダム化実験で十分なサンプルサイズを決定する方法を示す。 政策木を用いてサブグループを学習し、公開可能な大規模なランダム化実験データセットにおいて、我々の名目上の保証を評価する。
  論文  参考訳（メタデータ） (2024-03-06T20:37:29Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Streaming algorithms for evaluating noisy judges on unlabeled data -- binary classification [0.0]
  我々は、代数的故障モードを用いて、ほぼ誤りのないトリオスを探索し、評価アンサンブルを過度に相関するものとして否定する。 生き残ったアンサンブルが生み出す結果は、時には1%にも達することがある。 独立性が仮定されるときに生じる推定値のテイラー展開は、実際、分類器はわずかに相関しているので、独立評価器が代数的盲点を持つかを明らかにするのに役立つ」。
  論文  参考訳（メタデータ） (2023-06-02T17:52:59Z)
• Sequential Community Mode Estimation [7.693649834261879]
  本研究では,集団内最大の集団を個体の連続的無作為なサンプリングによって同定する問題について検討する。 この問題に対する新しいアルゴリズムを提案し,解析し,任意のアルゴリズムの下でエラーの確率に関する情報理論の下限を確立する。
  論文  参考訳（メタデータ） (2021-11-16T15:05:40Z)
• Universal Off-Policy Evaluation [64.02853483874334]
  ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す 我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
  論文  参考訳（メタデータ） (2021-04-26T18:54:31Z)
• Adaptive Combinatorial Allocation [77.86290991564829]
  割り当てが繰り返し選択され、戻り値は不明だが学習可能であり、決定には制約が伴う。 我々のモデルは、複雑な制約があっても、両側のマッチングと一方のマッチングをカバーしています。
  論文  参考訳（メタデータ） (2020-11-04T15:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。