Fugu-MT 論文翻訳(概要): Bayesian Prediction-Powered Inference

論文の概要: Bayesian Prediction-Powered Inference

arxiv url: http://arxiv.org/abs/2405.06034v1
Date: Thu, 9 May 2024 18:08:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-13 17:26:24.770558
Title: Bayesian Prediction-Powered Inference
Title（参考訳）: ベイズ予測による推論
Authors: R. Alex Hofer, Joshua Maynez, Bhuwan Dhingra, Adam Fisch, Amir Globerson, William W. Cohen,
Abstract要約: 予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。
参考スコア（独自算出の注目度）: 62.2436697657307
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prediction-powered inference (PPI) is a method that improves statistical estimates based on limited human-labeled data. Specifically, PPI methods provide tighter confidence intervals by combining small amounts of human-labeled data with larger amounts of data labeled by a reasonably accurate, but potentially biased, automatic system. We propose a framework for PPI based on Bayesian inference that allows researchers to develop new task-appropriate PPI methods easily. Exploiting the ease with which we can design new metrics, we propose improved PPI methods for several importantcases, such as autoraters that give discrete responses (e.g., prompted LLM ``judges'') and autoraters with scores that have a non-linear relationship to human scores.
Abstract（参考訳）: 予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。具体的には、PPI法は、少量の人ラベルデータと、合理的に正確だがバイアスのある自動システムによってラベル付けされた大量のデータを組み合わせることで、より厳密な信頼区間を提供する。本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。新たなメトリクスを設計する上で容易な方法として,個別の応答を与えるオートレーダ(例えば LLM ``judges'' を誘導するオートレーダ)や,人間のスコアと非線形の関係のないスコアを持つオートレーダなど,いくつかの重要なケースに対して,PPI手法の改良を提案する。

関連論文リスト

Bayesian Estimation and Tuning-Free Rank Detection for Probability Mass Function Tensors [17.640500920466984]
本稿では,関節のPMFを推定し,そのランクを観測データから自動的に推定する新しい枠組みを提案する。我々は、様々なモデルパラメータの後方分布を近似するために、変分推論(VI)に基づく決定論的解を導出し、さらに、変分推論(SVI)を利用して、VVIベースのアプローチのスケーラブルバージョンを開発する。合成データと実映画レコメンデーションデータの両方を含む実験は、推定精度、自動ランク検出、計算効率の点で、VVIおよびSVIベースの手法の利点を示している。
論文参考訳（メタデータ） (2024-10-08T20:07:49Z)
Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文参考訳（メタデータ） (2024-06-06T17:37:39Z)
Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
論文参考訳（メタデータ） (2024-04-01T09:33:05Z)
Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文参考訳（メタデータ） (2024-01-12T22:51:48Z)
PPI++: Efficient Prediction-Powered Inference [31.403415618169433]
PPI++: 小さなラベル付きデータセットと、通常より大きな機械学習予測データセットに基づく推定と推測の方法論を提案する。これらの手法は、利用可能な予測の品質に自動的に適応し、容易に計算可能な信頼セットを得る。 PPI++は予測駆動推論(PPI)に基づいており、同じ問題設定をターゲットとし、計算効率と統計効率を改善している。
論文参考訳（メタデータ） (2023-11-02T17:59:04Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Reliable Prediction Intervals with Directly Optimized Inductive Conformal Regression for Deep Learning [3.42658286826597]
予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。 PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
論文参考訳（メタデータ） (2023-02-02T04:46:14Z)
Neural Enhanced Belief Propagation for Multiobject Tracking [8.228150100178983]
モデルベースとデータ駆動型MOTを組み合わせたBPの変種を紹介する。 NEBP法はモデルベース法と比較して追跡性能が向上する。 nuScenes 自律運転データセット上でのMOTに対するNEBP手法の性能評価を行った。
論文参考訳（メタデータ） (2022-12-16T08:31:07Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。