Fugu-MT 論文翻訳(概要): Higher-Order Generalization Bounds: Learning Deep Probabilistic Programs via PAC-Bayes Objectives

論文の概要: Higher-Order Generalization Bounds: Learning Deep Probabilistic Programs via PAC-Bayes Objectives

arxiv url: http://arxiv.org/abs/2203.15972v1
Date: Wed, 30 Mar 2022 01:14:56 GMT
ステータス: 処理完了
システム内更新日: 2022-03-31 13:46:02.851658
Title: Higher-Order Generalization Bounds: Learning Deep Probabilistic Programs via PAC-Bayes Objectives
Title（参考訳）: 高次一般化境界:PAC-Bayes目的による深い確率的プログラムの学習
Authors: Jonathan Warrell, Mark Gerstein
Abstract要約: DPP法を用いてPAC-Bayes一般化境界をプログラムとして表現するためのフレームワークを提供する。特に, DPP の手法は DPP 表現の構成性に基づく一般化境界の導出に有効であることを示す。そこで本研究では,高次確率的プログラムに対する原則的学習目標について紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Probabilistic Programming (DPP) allows powerful models based on recursive computation to be learned using efficient deep-learning optimization techniques. Additionally, DPP offers a unified perspective, where inference and learning algorithms are treated on a par with models as stochastic programs. Here, we offer a framework for representing and learning flexible PAC-Bayes bounds as stochastic programs using DPP-based methods. In particular, we show that DPP techniques may be leveraged to derive generalization bounds that draw on the compositionality of DPP representations. In turn, the bounds we introduce offer principled training objectives for higher-order probabilistic programs. We offer a definition of a higher-order generalization bound, which naturally encompasses single- and multi-task generalization perspectives (including transfer- and meta-learning) and a novel class of bound based on a learned measure of model complexity. Further, we show how modified forms of all higher-order bounds can be efficiently optimized as objectives for DPP training, using variational techniques. We test our framework using single- and multi-task generalization settings on synthetic and biological data, showing improved performance and generalization prediction using flexible DPP model representations and learned complexity measures.
Abstract（参考訳）: deep probabilistic programming (dpp)は、効率的なディープラーニング最適化技術を用いて、再帰的計算に基づく強力なモデルを学ぶことができる。さらに、DPPは統合された視点を提供し、推論と学習アルゴリズムは確率的プログラムとしてモデルと同等に扱われる。そこで我々は,フレキシブルPAC-Bayes境界をDPP法を用いて確率的プログラムとして表現し,学習するためのフレームワークを提供する。特に, DPP の手法は DPP 表現の構成性に基づく一般化境界の導出に有効であることを示す。そこで本研究では,高次確率的プログラムに対する原則的学習目標を提案する。本稿では, モデル複雑性の学習尺度に基づいて, シングルタスクとマルチタスクの一般化視点(トランスファーやメタラーニングを含む)を自然に含む高階一般化境界を定義する。さらに, DPPトレーニングの目的として, 変分法を用いて高次境界の修正形式を効率的に最適化できることを示す。我々は,合成データと生体データに対する単一タスクとマルチタスクの一般化設定を用いて,フレキシブルDPPモデル表現と学習複雑性尺度を用いて,性能と一般化予測の改善を示す。

関連論文リスト

Machine Learning Optimized Orthogonal Basis Piecewise Polynomial Approximation [0.9208007322096533]
Piecewise Polynomials (PP) は、軌道計画のようないくつかの工学分野において、点の集合の形で与えられる位置プロファイルを近似するために用いられる。
論文参考訳（メタデータ） (2024-03-13T14:34:34Z)
Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文参考訳（メタデータ） (2022-11-14T08:51:04Z)
PAC-Bayesian Learning of Optimization Algorithms [6.624726878647541]
PAC-Bayes理論を学習最適化の設定に適用する。証明可能な一般化保証(PAC-bounds)と高収束確率と高収束速度との間の明示的なトレードオフを持つ最適化アルゴリズムを学習する。この結果は指数族に基づく一般の非有界損失関数に対してPAC-Bayes境界に依存する。
論文参考訳（メタデータ） (2022-10-20T09:16:36Z)
A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-09-30T17:59:16Z)
PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-07-12T17:57:17Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning [156.5667417159582]
本稿では,逐次情報設計の新たなモデル,すなわちマルコフ説得過程(MPP)を提案する。 MPPのプランニングは、ミオピックレシーバーに同時に説得されるシグナルポリシーを見つけ、送信者の最適な長期累積ユーティリティを誘導する、というユニークな課題に直面している。我々は,楽観主義と悲観主義の両原理の新たな組み合わせを特徴とする,実証可能な効率のよい非回帰学習アルゴリズム,Optimism-Pessimism Principle for Persuasion Process (OP4) を設計する。
論文参考訳（メタデータ） (2022-02-22T05:41:43Z)
Deep Probabilistic Graphical Modeling [2.2691593216516863]
この論文は、DPGM(Deep Probabilistic Graphic Model)を発展させる。 DPGMは、ディープラーニング(DL)を活用してPGMをより柔軟にする。ニューラルネットワークを用いた指数関数型ファミリーPCAを拡張して予測性能を向上するモデルクラスを開発した。
論文参考訳（メタデータ） (2021-04-25T03:48:02Z)
Wasserstein Learning of Determinantal Point Processes [14.790452282691252]
本稿では,観測された部分集合からなるモデルとデータ間のワッサーシュタイン距離を最小化する新しいDPP学習手法を提案する。 MLEを用いて学習したDPPと比較して,我々のWasserstein学習アプローチは,生成タスクにおける予測性能を著しく向上させることを示した。
論文参考訳（メタデータ） (2020-11-19T08:30:57Z)
Can We Learn Heuristics For Graphical Model Inference Using Reinforcement Learning? [114.24881214319048]
我々は、強化学習を用いて、高次条件ランダム場(CRF)における推論を解くためのプログラム、すなわち、ポリシーを学習できることを示します。本手法は,ポテンシャルの形式に制約を加えることなく,推論タスクを効率的に解く。
論文参考訳（メタデータ） (2020-04-27T19:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。