論文の概要: Universal Batch Learning Under The Misspecification Setting
- arxiv url: http://arxiv.org/abs/2405.07252v2
- Date: Sat, 22 Jun 2024 13:32:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 00:53:00.474637
- Title: Universal Batch Learning Under The Misspecification Setting
- Title（参考訳）: ミスセグメンテーション設定下でのユニバーサルバッチ学習
- Authors: Shlomi Vituri, Meir Feder,
- Abstract要約: ログロスを伴う不特定設定において、普遍的なエムバッチ学習の問題を考察する。
我々は、最適普遍学習者、データ生成分布の集合上の混合を導出し、min-max後悔を表す閉形式表現を得る。
- 参考スコア（独自算出の注目度）: 4.772817128620037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we consider the problem of universal {\em batch} learning in a misspecification setting with log-loss. In this setting the hypothesis class is a set of models $\Theta$. However, the data is generated by an unknown distribution that may not belong to this set but comes from a larger set of models $\Phi \supset \Theta$. Given a training sample, a universal learner is requested to predict a probability distribution for the next outcome and a log-loss is incurred. The universal learner performance is measured by the regret relative to the best hypothesis matching the data, chosen from $\Theta$. Utilizing the minimax theorem and information theoretical tools, we derive the optimal universal learner, a mixture over the set of the data generating distributions, and get a closed form expression for the min-max regret. We show that this regret can be considered as a constrained version of the conditional capacity between the data and its generating distributions set. We present tight bounds for this min-max regret, implying that the complexity of the problem is dominated by the richness of the hypotheses models $\Theta$ and not by the data generating distributions set $\Phi$. We develop an extension to the Arimoto-Blahut algorithm for numerical evaluation of the regret and its capacity achieving prior distribution. We demonstrate our results for the case where the observations come from a $K$-parameters multinomial distributions while the hypothesis class $\Theta$ is only a subset of this family of distributions.
- Abstract（参考訳）: 本稿では,ログロスを伴う不特定設定における普遍的バッチ学習の問題点について考察する。
この設定では、仮説クラスはモデルの集合 $\Theta$ である。
しかし、データは、この集合に属さないが、より大きなモデルの集合である$\Phi \supset \Theta$から生成される未知の分布によって生成される。
トレーニングサンプルが与えられた場合、ユニバーサル学習者が次の結果の確率分布を予測するように要求され、ログロスが発生する。
ユニバーサルラーナーのパフォーマンスは、$\Theta$から選択されたデータにマッチする最良の仮説に対する後悔によって測定される。
ミニマックス定理と情報理論ツールを用いて、データ生成分布の集合上の混合である最適普遍学習者を導出し、min-max後悔の閉形式式を得る。
我々は,この後悔を,データとその生成分布の条件付き容量の制約版と考えることができることを示す。
この問題の複雑さは仮説モデルの豊かさによって支配され、データ生成分布セットの$\Phi$には支配されないことを暗示する。
本研究では,有本・ブラフトアルゴリズムを拡張して,先行分布における後悔と能力の数値評価を行う。
仮定クラス $\Theta$ はこの分布の族の部分集合に過ぎず、観測が $K$-parameters の多重項分布から来る場合の結果を実証する。
関連論文リスト
- Gradual Domain Adaptation via Manifold-Constrained Distributionally Robust Optimization [0.4732176352681218]
本稿では、多様体制約データ分布のクラスにおける段階的領域適応の課題に対処する。
本稿では,適応的なワッサースタイン半径を持つ分布ロバスト最適化(DRO)を基礎とした手法を提案する。
我々のバウンダリは、新たに導入されたそれとの互換性尺度に依存しており、シーケンスに沿ったエラー伝搬のダイナミクスを完全に特徴付けています。
論文 参考訳（メタデータ） (2024-10-17T22:07:25Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Learning Algorithm Generalization Error Bounds via Auxiliary Distributions [16.44492672878356]
一般化エラー境界は、機械学習モデルがどのように機能するかを理解するのに不可欠である。
そこで本研究では,Auxiliary Distribution Methodという新たな手法を提案する。
論文 参考訳（メタデータ） (2022-10-02T10:37:04Z) - On the Generative Utility of Cyclic Conditionals [103.1624347008042]
2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。
本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-30T10:23:45Z) - Decision Theoretic Bootstrapping [1.988145627448243]
教師付き機械学習モデルの設計とテストは、2つの基本的な分布を組み合わせる。
この問題に対する一般的な決定理論ブートストラップソリューションを提示する。
論文 参考訳（メタデータ） (2021-03-18T02:00:24Z) - On Misspecification in Prediction Problems and Robustness via Improper
Learning [23.64462813525688]
広い種類の損失関数とパラメトリック分布の族に対して、"プロパ"予測子をプレイしたことの後悔は、少なくとも$sqrtgamma n$として境界スケーリングを下げていることが示される。
パラメトリックファミリーの凸体で分布を再生する可能性のあるすべての学習者の家族にしても、これは改善できない例を示します。
論文 参考訳（メタデータ） (2021-01-13T17:54:08Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-07-24T05:18:17Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。