論文の概要: Prediction-powered Inference by Mixture of Experts
- arxiv url: http://arxiv.org/abs/2604.27892v1
- Date: Thu, 30 Apr 2026 14:08:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.126582
- Title: Prediction-powered Inference by Mixture of Experts
- Title(参考訳): 専門家の混在による予測型推論
- Authors: Yanwu Gu, Linglong Kong, Dong Xia,
- Abstract要約: 予測型推論(PPI)に基づくMOEを用いた半教師付き推論フレームワークを提案する。
PPIの根底にある分散還元原理によって動機づけられたこのフレームワークは、最小限の分散を実現する専門家の混合を求める。
このフレームワークは柔軟で、平均推定、線形回帰、量子推定、一般のM推定に適用できる。
- 参考スコア(独自算出の注目度): 14.293038907072598
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapidly expanding artificial intelligence (AI) industry has produced diverse yet powerful prediction tools, each with its own network architecture, training strategy, data-processing pipeline, and domain-specific strengths. These tools create new opportunities for semi-supervised inference, in which labeled data are limited and expensive to obtain, whereas unlabeled data are abundant and widely available. Given a collection of predictors, we treat them as a mixture of experts (MOE) and introduce an MOE-powered semi-supervised inference framework built upon prediction-powered inference (PPI). Motivated by the variance reduction principle underlying PPI, the proposed framework seeks the mixture of experts that achieves the smallest possible variance. Compared with standard PPI, the MOE-powered inference framework adapts to the unknown performance of individual predictors, benefits from their collective predictive power, and enjoys a best-expert guarantee. The framework is flexible and applies to mean estimation, linear regression, quantile estimation, and general M-estimation. We develop non-asymptotic theory for the MOE-powered inference framework and establish upper bounds on the coverage error of the resulting confidence intervals. Numerical experiments demonstrate the practical effectiveness of MOE-powered inference and corroborate our theoretical findings.
- Abstract(参考訳): 急速に拡大する人工知能(AI)産業は、それぞれ独自のネットワークアーキテクチャ、トレーニング戦略、データ処理パイプライン、ドメイン固有の強みを備えた、多様な強力な予測ツールを生み出している。
これらのツールは、ラベル付きデータが制限され、入手する費用がかかる一方、ラベルなしデータが豊富で広く利用可能である半教師付き推論の新しい機会を生み出す。
予測器の集合が与えられた場合、これらを専門家(MOE)の混合として扱い、予測駆動推論(PPI)に基づくMOEを利用した半教師付き推論フレームワークを導入する。
PPIの根底にある分散還元原理によって動機づけられたこのフレームワークは、最小限の分散を実現する専門家の混合を求める。
標準のPPIと比較すると、MOEベースの推論フレームワークは個々の予測器の未知のパフォーマンスに適応し、それらの予測能力の恩恵を受け、最も優れた保証を享受する。
このフレームワークは柔軟で、平均推定、線形回帰、量子推定、一般のM推定に適用できる。
我々はMOEを用いた推論フレームワークの非漸近理論を開発し、その結果の信頼区間のカバレッジ誤差の上限を確立する。
数値実験により,MOEを用いた推論の有効性を実証し,理論的な知見を裏付ける。
関連論文リスト
- Demystifying Prediction Powered Inference [4.962232906170314]
予測パワー推論(英: Prediction-Powered Inference、PPI)は、大規模なラベルなしデータセットからの予測を活用して統計的効率を改善する、原則化されたフレームワークである。
その可能性にもかかわらず、PPIの変種の増加と両者の微妙な区別は、実践者がいつ、どのようにこれらの方法を適用するかを決定するのを困難にしている。
本稿では,PPIの理論的基礎,方法論的拡張,既存の統計文献への接続,診断ツールを統一的な実用的なワークフローに合成することによって,PPIをデミステレーションする。
論文 参考訳(メタデータ) (2026-01-28T18:16:02Z) - Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
天気予報は、大気のカオス的な性質によって根本的に挑戦されている。
ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。
気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
論文 参考訳(メタデータ) (2025-11-18T07:49:52Z) - Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
コンフォーマル予測(CP)は近年,膨大な関心を集めている。
本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。
半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
論文 参考訳(メタデータ) (2025-08-21T12:14:44Z) - Prediction-Powered Adaptive Shrinkage Estimation [0.22917707112773592]
予測パワー適応収縮(英: Prediction-Powered Adaptive Shrinkage、PAS)は、PPIを実証的なベイズ収縮で橋渡しし、複数の手段の推定を改善する手法である。
PASはML予測の信頼性に適応し、大規模アプリケーションにおいて従来のベースラインと現代的なベースラインを上回っている。
論文 参考訳(メタデータ) (2025-02-20T00:24:05Z) - Prediction-Powered E-Values [0.66567375919026]
予測型推論のアイデアをe-valueに適用する。
e-values でフレーム化できるすべての推論手順には予測機能があることを示す。
私たちのアプローチはモジュール化されており、既存のアルゴリズムに簡単に統合できます。
論文 参考訳(メタデータ) (2025-02-06T18:36:01Z) - Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。
以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。
本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-05-24T16:26:56Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - Prediction-Powered Inference [68.97619568620709]
予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。
このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。
予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
論文 参考訳(メタデータ) (2023-01-23T18:59:28Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳(メタデータ) (2021-07-02T15:20:41Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。