論文の概要: Stochastically Dominant Peer Prediction
- arxiv url: http://arxiv.org/abs/2506.02259v1
- Date: Mon, 02 Jun 2025 21:07:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:35.082506
- Title: Stochastically Dominant Peer Prediction
- Title(参考訳): 確率的に支配的なピア予測
- Authors: Yichi Zhang, Shengwei Xu, David Pennock, Grant Schoenebeck,
- Abstract要約: 我々は、真理報告の強い保証として、支配的支配的(SD-truthfulness)を提案する。
単純な解 -- バイナリロータリーに丸めること -- は、SDトラスフルネスを強制するが、しばしば感度を低下させる。
ラウンドリングのより慎重な適用が、感度をよりよく維持できることを示す。
- 参考スコア(独自算出の注目度): 11.183872292320824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Eliciting reliable human feedback is essential for many machine learning tasks, such as learning from noisy labels and aligning AI systems with human preferences. Peer prediction mechanisms incentivize truthful reporting without ground truth verification by scoring agents based on correlations with peers. Traditional mechanisms, which ensure that truth-telling maximizes the expected scores in equilibrium, can elicit honest information while assuming agents' utilities are linear functions of their scores. However, in practice, non-linear payment rules are usually preferred, or agents' utilities are inherently non-linear. We propose stochastically dominant truthfulness (SD-truthfulness) as a stronger guarantee: the score distribution of truth-telling stochastically dominates all other strategies, incentivizing truthful reporting for a wide range of monotone utility functions. Our first observation is that no existing peer prediction mechanism naturally satisfies this criterion without strong assumptions. A simple solution -- rounding scores into binary lotteries -- can enforce SD-truthfulness, but often degrades sensitivity, a key property related to fairness and statistical efficiency. We demonstrate how a more careful application of rounding can better preserve sensitivity. Furthermore, we introduce a new enforced agreement (EA) mechanism that is theoretically guaranteed to be SD-truthful in binary-signal settings under mild assumptions, and empirically achieves the highest sensitivity among all known SD-truthful mechanisms.
- Abstract(参考訳): ノイズラベルからの学習やAIシステムと人間の好みの整合化など、多くの機械学習タスクにおいて、信頼性の高い人間のフィードバックの排除が不可欠である。
ピア予測機構は、ピアとの相関に基づくスコアリングエージェントによる根拠的真理検証なしで真理レポートをインセンティブ化する。
真理テリングが均衡で期待されるスコアを最大化する伝統的なメカニズムは、エージェントの効用がそれらのスコアの線形関数であると仮定しながら、誠実な情報を引き出すことができる。
しかし、実際には、通常、非線形支払い規則は好まれるが、エージェントの効用は本質的に非線型である。
より強力な保証として,確率的に支配的な真理性 (SD-truthfulness) を提案する。
最初の観察では、既存のピア予測メカニズムが強い仮定なしにこの基準を満たすことはない。
単純な解法、すなわち二項抽選に丸められたスコアは、SD真理性を強制するが、しばしば感度を低下させる。
ラウンドリングのより慎重な適用が、感度をよりよく維持できることを示す。
さらに,理論上は2値符号設定においてSD-truthfulであることが保証され,すべてのSD-truthfulメカニズムの中で最も高い感度を実証的に達成する新しい強制合意機構(EA)を導入する。
関連論文リスト
- Incentivizing Truthful Language Models via Peer Elicitation Games [10.530016288072506]
大きな言語モデル(LLM)は強力な生成能力を示しているが、矛盾や幻覚の傾向が強い。
我々は,異なるベースモデルからインスタンス化されたジェネレータと複数の識別器を含むピア・エリケーション機構を通じて,LPMを整列させる学習自由ゲーム理論フレームワークであるPeer Elicitation Games (PEG)を紹介した。
論文 参考訳(メタデータ) (2025-05-19T18:16:58Z) - Fairness-Aware Low-Rank Adaptation Under Demographic Privacy Constraints [4.647881572951815]
事前訓練された基礎モデルはローランド適応(LoRA)を用いて特定のタスクに適応することができる
既存のフェアネスを意識した微調整手法は、機密属性や予測器への直接アクセスに依存している。
分散方式でトレーニング可能なLoRAベースの微調整手法のセットを紹介する。
論文 参考訳(メタデータ) (2025-03-07T18:49:57Z) - Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳(メタデータ) (2024-08-07T17:14:58Z) - Counterfactual Fairness for Predictions using Generative Adversarial
Networks [28.65556399421874]
我々は, 対実フェアネスの下で予測を行うための, GCFN (Generative Counterfactual Fairness Network) と呼ばれる新しいディープニューラルネットワークを開発した。
本手法は, 対実的公正性の概念を保証するために数学的に保証されている。
論文 参考訳(メタデータ) (2023-10-26T17:58:39Z) - Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。
カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。
本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
論文 参考訳(メタデータ) (2023-07-17T04:08:29Z) - RobustFair: Adversarial Evaluation through Fairness Confusion Directed
Gradient Search [8.278129731168127]
ディープニューラルネットワーク(DNN)は、様々な敵の摂動に対する脆弱性のため、しばしば課題に直面している。
本稿では, 偽りや偏りのある摂動を受ける場合のDNNの正確な公平性を評価するための新しいアプローチであるRobustFairを紹介する。
論文 参考訳(メタデータ) (2023-05-18T12:07:29Z) - Fairness in Matching under Uncertainty [78.39459690570531]
アルゴリズム的な二面市場は、こうした設定における公平性の問題に注意を向けている。
我々は、利益の不確実性を尊重する両面の市場設定において、個々人の公正性の概念を公理化する。
そこで我々は,配当よりも公平なユーティリティ最大化分布を求めるために,線形プログラミングフレームワークを設計する。
論文 参考訳(メタデータ) (2023-02-08T00:30:32Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳(メタデータ) (2023-01-17T01:46:45Z) - Practical Approaches for Fair Learning with Multitype and Multivariate
Sensitive Attributes [70.6326967720747]
現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。
本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。
実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
論文 参考訳(メタデータ) (2022-11-11T11:28:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。