Fugu-MT 論文翻訳(概要): Conditional Gaussian PAC-Bayes

論文の概要: Conditional Gaussian PAC-Bayes

arxiv url: http://arxiv.org/abs/2110.11886v1
Date: Fri, 22 Oct 2021 16:12:03 GMT
ステータス: 処理完了
システム内更新日: 2021-10-25 14:26:05.403612
Title: Conditional Gaussian PAC-Bayes
Title（参考訳）: 条件付きガウスPAC-Bayes
Authors: Eugenio Clerico, George Deligiannidis, and Arnaud Doucet
Abstract要約: 本稿では,サロゲート損失に頼らずにPAC-ベイズ境界を最適化する新しいトレーニングアルゴリズムを提案する。実験結果から,本手法で得られた境界は文献より厳密であることが示唆された。
参考スコア（独自算出の注目度）: 19.556744028461004
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent studies have empirically investigated different methods to train a stochastic classifier by optimising a PAC-Bayesian bound via stochastic gradient descent. Most of these procedures need to replace the misclassification error with a surrogate loss, leading to a mismatch between the optimisation objective and the actual generalisation bound. The present paper proposes a novel training algorithm that optimises the PAC-Bayesian bound, without relying on any surrogate loss. Empirical results show that the bounds obtained with this approach are tighter than those found in the literature.
Abstract（参考訳）: 近年の研究では、確率勾配勾配によるPAC-ベイズ境界の最適化により、確率的分類器を訓練する方法を実験的に検討している。これらの手順の多くは、誤分類エラーを代理損失に置き換える必要があり、最適化目標と実際の一般化境界とのミスマッチにつながる。本稿では,サロゲート損失に頼らずにPAC-ベイズ境界を最適化する新しいトレーニングアルゴリズムを提案する。実験結果から,本手法で得られた境界は文献より厳密であることがわかった。

関連論文リスト

Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文参考訳（メタデータ） (2024-05-26T05:38:50Z)
Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
論文参考訳（メタデータ） (2023-05-30T17:31:25Z)
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文参考訳（メタデータ） (2022-12-27T17:16:48Z)
Constrained Reinforcement Learning via Dissipative Saddle Flow Dynamics [5.270497591225775]
制約強化学習(C-RL)において、エージェントは期待される累積報酬を最大化するポリシーを環境から学ぼうとする。サンプルベース原始双対法に根ざしたいくつかのアルゴリズムが、政策空間においてこの問題を解決するために最近提案されている。本稿では,制約付きRLに対して,これらの制約に悩まされない新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-03T01:54:55Z)
Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization [27.31806334022094]
最近の研究では、敵の攻撃に対して訓練されたモデルが、テストセットよりも高い堅牢性を示すという、オーバーフィッティングのような現象が示されている。本稿では、ロバストなPAC-ベイジアン境界の異なる形式を考察し、モデル後部に関して直接最小化する。我々は、視覚変換器(ViT)を用いたCIFAR-10/100とImageNetに対するTrH正規化手法を評価し、ベースライン対向ロバスト性アルゴリズムと比較した。
論文参考訳（メタデータ） (2022-11-22T23:12:00Z)
Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文参考訳（メタデータ） (2022-02-26T19:10:48Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
分類とカウント(CC)は、しばしば偏りのある推定器である。以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
論文参考訳（メタデータ） (2020-11-04T21:47:39Z)
Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文参考訳（メタデータ） (2020-09-14T16:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。