論文の概要: Bayesian Prediction-Powered Inference
- arxiv url: http://arxiv.org/abs/2405.06034v1
- Date: Thu, 9 May 2024 18:08:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 17:26:24.770558
- Title: Bayesian Prediction-Powered Inference
- Title(参考訳): ベイズ予測による推論
- Authors: R. Alex Hofer, Joshua Maynez, Bhuwan Dhingra, Adam Fisch, Amir Globerson, William W. Cohen,
- Abstract要約: 予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。
本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。
- 参考スコア(独自算出の注目度): 62.2436697657307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction-powered inference (PPI) is a method that improves statistical estimates based on limited human-labeled data. Specifically, PPI methods provide tighter confidence intervals by combining small amounts of human-labeled data with larger amounts of data labeled by a reasonably accurate, but potentially biased, automatic system. We propose a framework for PPI based on Bayesian inference that allows researchers to develop new task-appropriate PPI methods easily. Exploiting the ease with which we can design new metrics, we propose improved PPI methods for several importantcases, such as autoraters that give discrete responses (e.g., prompted LLM ``judges'') and autoraters with scores that have a non-linear relationship to human scores.
- Abstract(参考訳): 予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。
具体的には、PPI法は、少量の人ラベルデータと、合理的に正確だがバイアスのある自動システムによってラベル付けされた大量のデータを組み合わせることで、より厳密な信頼区間を提供する。
本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。
新たなメトリクスを設計する上で容易な方法として,個別の応答を与えるオートレーダ(例えば LLM ``judges'' を誘導するオートレーダ)や,人間のスコアと非線形の関係のないスコアを持つオートレーダなど,いくつかの重要なケースに対して,PPI手法の改良を提案する。
関連論文リスト
- Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。
我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。
単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2024-06-06T17:37:39Z) - Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。
QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。
これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
論文 参考訳(メタデータ) (2024-04-01T09:33:05Z) - Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2024-01-12T22:51:48Z) - Privacy Constrained Fairness Estimation for Decision Trees [2.9906966931843093]
任意のAIモデルの公平さを測定するには、データセット内の個人の敏感な属性が必要である。
プライバシ・アウェア・フェアネス・オブ・ルール(PAFER)と呼ばれる新しい手法を提案する。
提案手法は,ラプラシアン機構を用いて,データセット内の個人のプライバシーを高い確度で保証しつつ,低い誤差でSPを推定できることを示す。
論文 参考訳(メタデータ) (2023-12-13T14:54:48Z) - PPI++: Efficient Prediction-Powered Inference [31.403415618169433]
PPI++: 小さなラベル付きデータセットと、通常より大きな機械学習予測データセットに基づく推定と推測の方法論を提案する。
これらの手法は、利用可能な予測の品質に自動的に適応し、容易に計算可能な信頼セットを得る。
PPI++は予測駆動推論(PPI)に基づいており、同じ問題設定をターゲットとし、計算効率と統計効率を改善している。
論文 参考訳(メタデータ) (2023-11-02T17:59:04Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Reliable Prediction Intervals with Directly Optimized Inductive
Conformal Regression for Deep Learning [3.42658286826597]
予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。
PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。
本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。
ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-02-02T04:46:14Z) - Neural Enhanced Belief Propagation for Multiobject Tracking [8.228150100178983]
モデルベースとデータ駆動型MOTを組み合わせたBPの変種を紹介する。
NEBP法はモデルベース法と比較して追跡性能が向上する。
nuScenes 自律運転データセット上でのMOTに対するNEBP手法の性能評価を行った。
論文 参考訳(メタデータ) (2022-12-16T08:31:07Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。