論文の概要: Learning Algorithm Generalization Error Bounds via Auxiliary Distributions
- arxiv url: http://arxiv.org/abs/2210.00483v2
- Date: Tue, 16 Apr 2024 22:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 20:09:36.124002
- Title: Learning Algorithm Generalization Error Bounds via Auxiliary Distributions
- Title（参考訳）: 補助分布を用いた学習アルゴリズムの一般化誤差境界
- Authors: Gholamali Aminian, Saeed Masiha, Laura Toni, Miguel R. D. Rodrigues,
- Abstract要約: 一般化エラー境界は、機械学習モデルがどのように機能するかを理解するのに不可欠である。
そこで本研究では,Auxiliary Distribution Methodという新たな手法を提案する。
- 参考スコア（独自算出の注目度）: 16.44492672878356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalization error bounds are essential for comprehending how well machine learning models work. In this work, we suggest a novel method, i.e., the Auxiliary Distribution Method, that leads to new upper bounds on expected generalization errors that are appropriate for supervised learning scenarios. We show that our general upper bounds can be specialized under some conditions to new bounds involving the $\alpha$-Jensen-Shannon, $\alpha$-R\'enyi ($0< \alpha < 1$) information between a random variable modeling the set of training samples and another random variable modeling the set of hypotheses. Our upper bounds based on $\alpha$-Jensen-Shannon information are also finite. Additionally, we demonstrate how our auxiliary distribution method can be used to derive the upper bounds on excess risk of some learning algorithms in the supervised learning context {\blue and the generalization error under the distribution mismatch scenario in supervised learning algorithms, where the distribution mismatch is modeled as $\alpha$-Jensen-Shannon or $\alpha$-R\'enyi divergence between the distribution of test and training data samples distributions.} We also outline the conditions for which our proposed upper bounds might be tighter than other earlier upper bounds.
- Abstract（参考訳）: 一般化エラー境界は、機械学習モデルがどのように機能するかを理解するのに不可欠である。
本研究では,教師あり学習シナリオに適した予測一般化誤差に新たな上限をもたらす新たな手法,すなわち補助分布法を提案する。
我々は、トレーニングサンプルの集合をモデル化するランダム変数と、仮説の集合をモデル化する別のランダム変数の間に、$\alpha$-Jensen-Shannon, $\alpha$-R\enyi ($0< \alpha < 1$)情報を含む新しい境界に対して、いくつかの条件下で、一般上界を特殊化できることを示します。
$\alpha$-Jensen-Shannon 情報に基づく上界も有限である。
さらに, 教師付き学習文脈における学習アルゴリズムの過大なリスクに関する上限を導出するために, 我々の補助的分布法を用いて, 教師付き学習アルゴリズムにおける分布ミスマッチシナリオ下での一般化誤差を, テストとトレーニングデータサンプルの分布の差分を$\alpha$-Jensen-Shannonあるいは$\alpha$-R\enyiとモデル化する方法を示した。
また,提案した上界が,他の上界よりも厳密な条件についても概説する。
関連論文リスト
- Universal Batch Learning Under The Misspecification Setting [4.772817128620037]
ログロスを伴う不特定設定において、普遍的なエムバッチ学習の問題を考察する。
我々は、最適普遍学習者、データ生成分布の集合上の混合を導出し、min-max後悔を表す閉形式表現を得る。
論文 参考訳（メタデータ） (2024-05-12T11:16:05Z) - Symmetric Q-learning: Reducing Skewness of Bellman Error in Online
Reinforcement Learning [55.75959755058356]
深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。
最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。
そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
論文 参考訳（メタデータ） (2024-03-12T14:49:19Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
論文 参考訳（メタデータ） (2022-07-12T08:20:41Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - Testing distributional assumptions of learning algorithms [5.204779946147061]
テストレーナー対 $(mathcalA,mathcalT)$ の設計について検討する。
データ中の例の分布がテスタを$mathcalT$に渡せば、データ上の非依存な$mathcalA$の出力を安全に信頼できることを示す。
論文 参考訳（メタデータ） (2022-04-14T19:10:53Z) - Robust Learning of Optimal Auctions [84.13356290199603]
本研究では、入札者の評価値のサンプルを逆向きに破損させたり、逆向きに歪んだ分布から引き出すことができる場合に、サンプルから収益-最適マルチバイダオークションを学習する問題について検討する。
我々は,コルモゴロフ-スミルノフ距離における元の分布に対して$alpha$-closeの「全ての真の分布」に対して,収入がほぼ同時に最適であるメカニズムを学習できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-13T17:37:21Z) - Jensen-Shannon Information Based Characterization of the Generalization
Error of Learning Algorithms [17.682750327776777]
一般化エラー境界は、機械学習モデルの性能を理解するために重要である。
教師付き学習シナリオに適用可能な情報理論に基づく一般化誤差上限を提案する。
論文 参考訳（メタデータ） (2020-10-23T20:53:07Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-07-24T05:18:17Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Information-theoretic analysis for transfer learning [5.081241420920605]
本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。
我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
論文 参考訳（メタデータ） (2020-05-18T13:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。