論文の概要: Panprediction: Optimal Predictions for Any Downstream Task and Loss
- arxiv url: http://arxiv.org/abs/2510.27638v1
- Date: Fri, 31 Oct 2025 17:10:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 17:52:16.174741
- Title: Panprediction: Optimal Predictions for Any Downstream Task and Loss
- Title（参考訳）: Panprediction: ダウンストリームタスクと損失に対する最適な予測
- Authors: Sivaraman Balakrishnan, Nika Haghtalab, Daniel Hsu, Brian Lee, Eric Zhao,
- Abstract要約: 教師付き学習は、固定分布上の固定損失関数を最小化するモデルを訓練するものとして古典的に定式化される。
我々はパンプレディクションと呼ばれるこのパラダイムの数学的枠組みを定式化し、その統計的複雑さについて研究する。
無限個のタスクにおける無限個の損失を同時に最小化することは、1つのタスクにおける1つの損失を最小化するのと同じくらい統計的に容易であることを示す。
- 参考スコア（独自算出の注目度）: 22.59167297839645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised learning is classically formulated as training a model to minimize a fixed loss function over a fixed distribution, or task. However, an emerging paradigm instead views model training as extracting enough information from data so that the model can be used to minimize many losses on many downstream tasks. We formalize a mathematical framework for this paradigm, which we call panprediction, and study its statistical complexity. Formally, panprediction generalizes omniprediction and sits upstream from multi-group learning, which respectively focus on predictions that generalize to many downstream losses or many downstream tasks, but not both. Concretely, we design algorithms that learn deterministic and randomized panpredictors with $\tilde{O}(1/\varepsilon^3)$ and $\tilde{O}(1/\varepsilon^2)$ samples, respectively. Our results demonstrate that under mild assumptions, simultaneously minimizing infinitely many losses on infinitely many tasks can be as statistically easy as minimizing one loss on one task. Along the way, we improve the best known sample complexity guarantee of deterministic omniprediction by a factor of $1/\varepsilon$, and match all other known sample complexity guarantees of omniprediction and multi-group learning. Our key technical ingredient is a nearly lossless reduction from panprediction to a statistically efficient notion of calibration, called step calibration.
- Abstract（参考訳）: 教師付き学習は、固定分布上の固定損失関数を最小化するモデルを訓練するものとして古典的に定式化される。
しかし、新しいパラダイムは、モデルトレーニングをデータから十分な情報を抽出し、多くの下流タスクにおける多くの損失を最小化するためにモデルを使用できるものとして見ている。
我々はパンプレディクションと呼ばれるこのパラダイムの数学的枠組みを定式化し、その統計的複雑さについて研究する。
形式的には、パンプレディクションは全方位を一般化し、多群学習から上流に置かれ、それぞれ下流の多くの損失や下流のタスクに一般化する予測に焦点を当てるが、両方ではない。
具体的には,$\tilde{O}(1/\varepsilon^3)$と$\tilde{O}(1/\varepsilon^2)$サンプルを用いて決定論的およびランダムなパン予測を学習するアルゴリズムを設計する。
この結果は、軽度の仮定の下では、無限に多くのタスクにおいて無限に多くの損失を最小化すると同時に、一つのタスクにおいて1つの損失を最小化するのと同じくらい統計的に容易であることを示す。
その過程で、決定論的全群予測の最もよく知られた検体複雑性保証を1/\varepsilon$で改善し、全群予測と多群学習の他の既知の全ての検体複雑性保証と整合する。
我々の重要な技術要素は、パンプレディションから統計的に効率的なキャリブレーションの概念であるステップキャリブレーションへのほとんど損失のない還元である。
関連論文リスト
- Sample-Efficient Omniprediction for Proper Losses [7.615840544913577]
本稿では,下流の利用者が行動を伝える際に,正確な判断につながる確率的予測を構築することの問題点を考察する。
一つの意思決定者にとって、最適な予測器を設計することは、その個人の負の効用に対応する適切な損失関数を最小化することと等価である。
複数の意思決定者にとって、我々の問題は、複数の損失を同時に最小化する単一の予測器を設計することを目的としている全方位の変種と見なすことができる。
論文 参考訳（メタデータ） (2025-10-14T17:49:05Z) - Probably Approximately Precision and Recall Learning [60.00180898830079]
機械学習における重要な課題は、一方的なフィードバックの頻度である。
本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。
我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。
iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。
我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-08-08T17:56:20Z) - Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
プレトレーニングは下流のタスクに移行することで大きな成功を収めた。
本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
論文 参考訳（メタデータ） (2023-06-21T07:43:23Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳（メタデータ） (2022-10-16T22:25:27Z) - Omnipredictors [19.735769148626588]
ロス最小化は機械学習において支配的なパラダイムである。
我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。
このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
論文 参考訳（メタデータ） (2021-09-11T23:28:49Z) - Machine Learning's Dropout Training is Distributionally Robust Optimal [10.937094979510212]
本稿では,一般線形モデルにおけるドロップアウトトレーニングが,期待外の損失保証を提供することを示す。
また、ドロップアウトトレーニングの実装を高速化するために、新しい並列化可能なUnbiased Multi-Level Monte Carloアルゴリズムも提供する。
論文 参考訳（メタデータ） (2020-09-13T23:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。