論文の概要: Internal Pluralism and the Limits of Pairwise Comparisons
- arxiv url: http://arxiv.org/abs/2607.02672v1
- Date: Thu, 02 Jul 2026 18:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.386862
- Title: Internal Pluralism and the Limits of Pairwise Comparisons
- Title(参考訳): 内的多元主義とペアワイズ比較の限界
- Authors: Bailey Flanigan, Michelle Si,
- Abstract要約: 局所的なペアワイズ比較は、人々が決定ルールの動作を望む方法を学ぶための標準的なツールです。
我々は,これらの仮定が内部的多元論の下でどのように妥協されるかを検討する。
- 参考スコア(独自算出の注目度): 3.1225375941154017
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Local pairwise comparisons are a standard tool for learning how people want decision rules to work, e.g., in participatory design or alignment. However, their use builds in two strong assumptions: that local comparisons are sufficient evidence about how a person wants an automated decision rule to behave, and that people can always answer those comparisons decisively. We investigate how these assumptions may be compromised under internal pluralism: the idea that an individual evaluates decision rules according to multiple authoritative priorities about how the rule should behave. We provide a formal model of such pluralistic preferences over decision rules, which then lets us identify two distinct failures of forced local pairwise comparison data. First, priorities such as proportionality, egalitarianism, and equal treatment are inherently global: what they imply in one case can depend on what happens elsewhere, so local comparisons may fail to capture them. Second, even when priorities are representable locally, tension between strongly-held priorities can generate internal conflict, producing potentially costly behavioral distortions when comparisons are forced. We then use our model to investigate the alternative -- allowing people to report indecision -- and our findings suggest that doing so can considerably reduce the number of queries needed to learn preferences accurately. We conclude by describing how our model points toward preference-learning methods that elicit these priorities directly, yielding more faithful and interpretable accounts of what people value.
- Abstract(参考訳): 局所的なペアワイズ比較は、人々がどのように決定ルールを働きたいかを学ぶための標準的なツールである。
しかし、彼らの利用は2つの強い前提に成り立っている: ローカルな比較は、人が自動的な決定ルールをどう振舞うかについての十分な証拠であり、人々は常にそれらの比較に決定的に答えることができる。
我々は、これらの仮定が内部的多元主義の下でどのように損なわれるか、すなわち、個人が決定ルールを、ルールがどのように振る舞うべきかに関する複数の権威的な優先順位に従って評価するという考えを考察する。
決定規則よりも多元的な選好の形式モデルを提供し、これにより、強制的な局所的なペア比較データの2つの異なる失敗を特定できる。
第一に、比例性、平等主義、平等な扱いといった優先事項は本質的にグローバルであり、ある場合においてそれらが意味するところは、他の場所で何が起こるかによって異なるため、局所的な比較はそれらを取得するのに失敗する可能性がある。
第二に、たとえ優先順位が局所的に表現可能であったとしても、強く保持された優先順位の間の緊張は内部の対立を引き起こし、比較を強制した場合、潜在的にコストのかかる振る舞いの歪みを引き起こす。
次に、私たちのモデルを使って、人々が不確定を報告できるという代替案を調べ、その結果は、好みを正確に学習するために必要なクエリの数を大幅に削減できることを示唆しています。
私たちのモデルは、これらの優先順位を直接引き出す選好学習の方法を指して、人々が何を評価するかをより忠実で解釈可能な説明を与えている、と私たちは結論付けています。
関連論文リスト
- Democratic ICAI: Debating Our Way to Steering Principles from Preferences [0.8192417431645813]
逆構成AI(ICAI)は、好みを自然言語の原則に要約することで意思決定における解釈可能性を改善する。
我々は,構造化されたペルソナ討論を通じて,複数の競合する合理性を集める新しいアプローチである民主党ICAIを紹介する。
論文 参考訳(メタデータ) (2026-06-26T17:38:47Z) - To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias [61.40435736418359]
異質なベンチマークを標準化する統一的なフレームワークを導入し、孤立した人口統計評価と強制選択比較設定を対比する。
比較設定は、主に不特定文脈によって引き起こされる潜在識別のアグレッシブな触媒として機能することを示す。
最後に、この比較偏見はモデルサイズと正にスケールする一般化された現象であることを示す。
論文 参考訳(メタデータ) (2026-06-23T13:53:50Z) - Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。
次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。
大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
論文 参考訳(メタデータ) (2026-06-20T07:52:46Z) - JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment [2.961401607740788]
JudgmentBenchは、実世界の30の法的タスクのベンチマークで、1,539のルーリックスコアと1,530のペアの選好判断を組み合わせたものです。
アノテーションは、両方の監視信号が同じ専門家から引き出される、高度なドメインで利用可能な最初のデータセットである。
論文 参考訳(メタデータ) (2026-05-24T19:52:39Z) - Using predictive multiplicity to measure individual performance within the AI Act [8.79823465328347]
本稿は、EU AI Actの正確性に関する規定に関連して、予測的乗法を定めている。
我々は、AI法に基づき、予測多重性に関する情報をデプロイ者に提供すべきだと提案する。
論文 参考訳(メタデータ) (2026-02-12T13:40:00Z) - Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。
異なるデータ条件に合わせた2つの学習方法を提案する。
この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
論文 参考訳(メタデータ) (2025-09-30T20:36:41Z) - Prediction-Powered Ranking of Large Language Models [13.25325920774249]
大規模な言語モデルは、しばしば人間の好みに合わせてランク付けされる。
このギャップを埋める統計フレームワークを開発します。
ペアワイズ比較のみを用いて構築されたランクセットは、人間のペアワイズ選好と(分布の)矛盾することが多いことを示す。
論文 参考訳(メタデータ) (2024-02-27T19:00:01Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳(メタデータ) (2023-07-06T04:13:57Z) - Why do you think that? Exploring Faithful Sentence-Level Rationales
Without Supervision [60.62434362997016]
文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。
本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
論文 参考訳(メタデータ) (2020-10-07T12:54:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。