論文の概要: On the role of data in PAC-Bayes bounds

• arxiv url: http://arxiv.org/abs/2006.10929v2
• Date: Tue, 27 Oct 2020 03:04:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:38:35.334871
• Title: On the role of data in PAC-Bayes bounds
• Title（参考訳）: PAC-Bayes境界におけるデータの役割について
• Authors: Gintare Karolina Dziugaite, Kyle Hsu, Waseem Gharbieh, Gabriel Arpino, Daniel M. Roy
• Abstract要約: PAC-ベイズ境界は、しばしばクルバック-リーブラーの後方と後方の分岐である。 我々は、前者に基づく境界が準最適であることを示す。 データの使用は、空き境界と非空き境界の差を意味する可能性がある。
• 参考スコア（独自算出の注目度）: 24.53731903804468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dominant term in PAC-Bayes bounds is often the Kullback--Leibler divergence between the posterior and prior. For so-called linear PAC-Bayes risk bounds based on the empirical risk of a fixed posterior kernel, it is possible to minimize the expected value of the bound by choosing the prior to be the expected posterior, which we call the oracle prior on the account that it is distribution dependent. In this work, we show that the bound based on the oracle prior can be suboptimal: In some cases, a stronger bound is obtained by using a data-dependent oracle prior, i.e., a conditional expectation of the posterior, given a subset of the training data that is then excluded from the empirical risk term. While using data to learn a prior is a known heuristic, its essential role in optimal bounds is new. In fact, we show that using data can mean the difference between vacuous and nonvacuous bounds. We apply this new principle in the setting of nonconvex learning, simulating data-dependent oracle priors on MNIST and Fashion MNIST with and without held-out data, and demonstrating new nonvacuous bounds in both cases.
• Abstract（参考訳）: PAC-ベイズ境界における支配的な用語は、しばしばクルバック-リーブラー分岐である。 固定後核の経験的リスクに基づくいわゆる線形PAC-Bayesリスクバウンダリに対して、分布に依存するという理由から、先を期待後として選択することで、そのバウンダリの期待値を最小限にすることができる。 本研究は, 先行するオラクルに基づく境界が準最適であることを示す: ある場合において, 強い境界は, 実験的リスク項から除外された訓練データのサブセットが与えられた後部の条件付き期待値を用いて得られる。 先行学習にデータを使うことは、既知のヒューリスティックであるが、最適境界における重要な役割は新しいことである。 実際、データの使用は空きと非空きの境界の違いを意味する可能性がある。 この新原則を非凸学習の設定に適用し,MNISTおよびFashion MNISTにおけるデータ依存のオラクル事前を,保持データと非保持データでシミュレートし,両ケースで新たな非空き境界を示す。

関連論文リスト

• Recursive PAC-Bayes: A Frequentist Approach to Sequential Prior Updates with No Information Loss [16.84312626844573]
  PAC-Bayesian分析は、事前知識を学習に組み込むための頻繁なフレームワークである。 我々は,情報損失のない逐次的事前更新を可能にする,驚くほどシンプルで強力なPAC-Bayesianプロシージャを提案する。
  論文  参考訳（メタデータ） (2024-05-23T15:15:17Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [1.9799527196428246]
  我々は,新しいPAC-Bayesオラクルを導入する。 この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。 我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Approximating Counterfactual Bounds while Fusing Observational, Biased and Randomised Data Sources [64.96984404868411]
  我々は、複数の、偏見のある、観察的、介入的な研究からのデータを統合するという問題に対処する。 利用可能なデータの可能性は局所的な最大値を持たないことを示す。 次に、同じアプローチが複数のデータセットの一般的なケースにどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2023-07-31T11:28:24Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• A new framework for experimental design using Bayesian Evidential Learning: the case of wellhead protection area [0.0]
  我々は、少数の追跡実験(予測器)から、油圧導電率(K)の分布に影響を及ぼすウェルヘッド保護領域(WHPA)の形状と範囲を予測した。 最初の目標は、マシンラーニングを使用して予測者とターゲット間の直接的な関係を見つけることを目的とした、ベイズ式Evidential Learningフレームワーク内のWHPAの予測を行うことです。 第2の目的は、whpaの後方の不確かさを最小限に抑えるデータソースロケーションの最適設計をベルに拡張することである。
  論文  参考訳（メタデータ） (2021-05-12T09:40:28Z)
• DeVLBert: Learning Deconfounded Visio-Linguistic Representations [111.93480424791613]
  ドメイン外ビオ言語事前学習の問題点について検討する。 この問題の既存の方法は、純粋に確率ベースである。 介入に基づく学習を行うために,Decon-Linguistic Bertフレームワーク(略称:DeVLBert)を提案する。
  論文  参考訳（メタデータ） (2020-08-16T11:09:22Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)
• Convex Nonparanormal Regression [8.497456090408084]
  後部条件分布を推定する条件付き非正規回帰法であるConvex Nonparanormal Regression (CNR)を導入する。 ピースワイズ線形辞書の特殊だが強力な場合、後進平均の閉形式を提供する。 合成および実世界のデータを用いた古典的競合相手に対するCNRの利点を実証する。
  論文  参考訳（メタデータ） (2020-04-21T19:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。