論文の概要: Stability of Weighted Majority Voting under Estimated Weights
- arxiv url: http://arxiv.org/abs/2207.06118v2
- Date: Sun, 30 Jun 2024 14:12:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 18:41:09.852691
- Title: Stability of Weighted Majority Voting under Estimated Weights
- Title(参考訳): 推定重み下における重み付き多数投票の安定性
- Authors: Shaojie Bai, Dongxia Wang, Tim Muller, Peng Cheng, Jiming Chen,
- Abstract要約: 信頼を計算する(機械学習)アルゴリズムは、信頼度を体系的に過大評価したり過小評価しない場合、非バイアスと呼ばれる。
我々は、そのようなバイアスのない信頼値の2つの重要な特性、すなわち、正当性の安定性と最適性の安定性を紹介し、分析する。
- 参考スコア(独自算出の注目度): 16.804588631149393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weighted Majority Voting (WMV) is a well-known optimal decision rule for collective decision making, given the probability of sources to provide accurate information (trustworthiness). However, in reality, the trustworthiness is not a known quantity to the decision maker - they have to rely on an estimate called trust. A (machine learning) algorithm that computes trust is called unbiased when it has the property that it does not systematically overestimate or underestimate the trustworthiness. To formally analyse the uncertainty to the decision process, we introduce and analyse two important properties of such unbiased trust values: stability of correctness and stability of optimality. Stability of correctness means that the decision accuracy that the decision maker believes they achieved is equal to the actual accuracy. We prove stability of correctness holds. Stability of optimality means that the decisions made based on trust, are equally good as they would have been if they were based on trustworthiness. Stability of optimality does not hold. We analyse the difference between the two, and bounds thereon. We also present an overview of how sensitive decision correctness is to changes in trust and trustworthiness.
- Abstract(参考訳): 重み付き多数決投票(英: Weighted Majority Voting、WMV)は、正確な情報(信頼性)を提供する情報源の確率を考えると、集合的意思決定に最適な決定規則である。
しかし、実際には、信頼は意思決定者にとって既知の量ではなく、信頼と呼ばれる見積に頼る必要があります。
信頼を計算する(機械学習)アルゴリズムは、信頼度を体系的に過大評価したり過小評価したりしない性質を持つ場合、非バイアス(unbiased)と呼ばれる。
決定過程の不確かさを正式に分析するために、このようなバイアスのない信頼値の2つの重要な特性、すなわち正しさの安定性と最適性の安定性を紹介し、分析する。
正確性の安定性は、意思決定者が達成した決定精度が実際の精度と等しいことを意味する。
我々は正しさの安定性を証明している。
最適性の安定性は、信頼に基づく決定が、信頼度に基づくものであっても、彼らと同じくらい良いことを意味する。
最適性の安定性は保たない。
両者の差を解析し、その境界を定めます。
また、信頼と信頼度の変化に対して、決定の正しさがどれほど敏感であるかを概観する。
関連論文リスト
- Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。
また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文 参考訳(メタデータ) (2024-11-20T14:15:18Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳(メタデータ) (2024-09-26T21:00:45Z) - U-Trustworthy Models.Reliability, Competence, and Confidence in
Decision-Making [0.21756081703275998]
信頼性の正確な数学的定義を$mathcalU$-trustworthinessと呼ぶ。
$mathcalU$-trustworthinessの文脈において、適切にランク付けされたモデルは本質的に$mathcalU$-trustworthyであることが証明される。
我々は、信頼度を優先する尺度として、AUCメートル法の採用を提唱する。
論文 参考訳(メタデータ) (2024-01-04T04:58:02Z) - Human-Aligned Calibration for AI-Assisted Decision Making [19.767213234234855]
信頼度値が、意思決定者の予測に対する信頼度に関して自然な整合性を満たすならば、常に最適な意思決定方針が存在することを示す。
意思決定者自身の予測に対する自信に対するマルチキャリブレーションは、アライメントに十分な条件であることを示す。
論文 参考訳(メタデータ) (2023-05-31T18:00:14Z) - Did You Mean...? Confidence-based Trade-offs in Semantic Parsing [52.28988386710333]
タスク指向の構文解析において、キャリブレーションモデルが共通のトレードオフのバランスを取るのにどのように役立つかを示す。
次に、信頼性スコアがユーザビリティと安全性のトレードオフを最適化する上で、どのように役立つかを検証します。
論文 参考訳(メタデータ) (2023-03-29T17:07:26Z) - Confidence-Calibrated Face and Kinship Verification [8.570969129199467]
検証モデルにより、類似度スコアを任意の顔対に対する信頼スコアに変換することができる効果的な信頼度尺度を導入する。
また,実装が容易で,既存の検証モデルにも容易に適用可能な,信頼性校正アプローチであるAngular Scaling(ASC)を提案する。
我々の知識を最大限に活用するために、我々の研究は、現代の顔と親族関係の検証タスクに対する、初めての包括的信頼度校正ソリューションを提示した。
論文 参考訳(メタデータ) (2022-10-25T10:43:46Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Stating Comparison Score Uncertainty and Verification Decision
Confidence Towards Transparent Face Recognition [13.555831336280407]
顔比較スコアの不確かさを推定する手法を提案する。
第2に、検証決定に関する洞察を提供するためのシステムの決定に対する信頼度尺度を導入する。
比較スコアの不確かさと検証決定の信頼性の適合性は、3つの顔認識モデルで実験的に証明されている。
論文 参考訳(メタデータ) (2022-10-19T07:43:48Z) - MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。
MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
論文 参考訳(メタデータ) (2021-09-02T14:34:06Z) - Learning Strategies in Decentralized Matching Markets under Uncertain
Preferences [91.3755431537592]
エージェントの選好が不明な場合,共有資源の不足の設定における意思決定の問題について検討する。
我々のアプローチは、再生されたカーネルヒルベルト空間における好みの表現に基づいている。
エージェントの期待した利益を最大化する最適な戦略を導出する。
論文 参考訳(メタデータ) (2020-10-29T03:08:22Z) - How Much Can We Really Trust You? Towards Simple, Interpretable Trust
Quantification Metrics for Deep Neural Networks [94.65749466106664]
我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。
我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。
提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
論文 参考訳(メタデータ) (2020-09-12T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。