Fugu-MT 論文翻訳(概要): A PAC-Bayes bound for deterministic classifiers

論文の概要: A PAC-Bayes bound for deterministic classifiers

arxiv url: http://arxiv.org/abs/2209.02525v1
Date: Tue, 6 Sep 2022 14:30:18 GMT
ステータス: 処理完了
システム内更新日: 2022-09-07 12:57:42.140537
Title: A PAC-Bayes bound for deterministic classifiers
Title（参考訳）: 決定論的分類器のためのPAC-Bayes境界
Authors: Eugenio Clerico and George Deligiannidis and Benjamin Guedj and Arnaud Doucet
Abstract要約: 連続時間勾配降下法により学習した分類器に対して,分解されたPAC-Bayesian境界を確立する。線形モデルを用いて解析的および実験的にその挙動を研究し、有望な結果を得た。
参考スコア（独自算出の注目度）: 30.411527579860092
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We establish a disintegrated PAC-Bayesian bound, for classifiers that are trained via continuous-time (non-stochastic) gradient descent. Contrarily to what is standard in the PAC-Bayesian setting, our result applies to a training algorithm that is deterministic, conditioned on a random initialisation, without requiring any $\textit{de-randomisation}$ step. We provide a broad discussion of the main features of the bound that we propose, and we study analytically and empirically its behaviour on linear models, finding promising results.
Abstract（参考訳）: 連続時間(非確率的)勾配降下によって訓練される分類器に対して,分解されたpac-ベイズ境界を確立する。 PAC-Bayesian設定の標準と対照的に、我々の結果は、決定論的であり、ランダム初期化に条件づけられたトレーニングアルゴリズムに適用され、$\textit{de-randomisation}$ step は不要である。我々は,提案する境界の主な特徴について幅広い議論を行い,線形モデル上での解析的,実証的にその挙動を研究し,有望な結果を得た。

関連論文リスト

A Simulation-Free Deep Learning Approach to Stochastic Optimal Control [12.699529713351287]
最適制御(SOC)における一般問題の解法のためのシミュレーションフリーアルゴリズムを提案する。既存の手法とは異なり、我々の手法は随伴問題の解を必要としない。
論文参考訳（メタデータ） (2024-10-07T16:16:53Z)
Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
論文参考訳（メタデータ） (2024-05-17T21:17:27Z)
Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文参考訳（メタデータ） (2024-04-16T20:01:10Z)
FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
論文参考訳（メタデータ） (2023-12-10T20:41:43Z)
Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
論文参考訳（メタデータ） (2023-11-28T17:03:56Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。モデルに基づく手続きが雑音勾配設定に収束することを証明する。これは自己チューニング二次体を構築するための興味深いステップである。
論文参考訳（メタデータ） (2020-11-09T22:07:30Z)
GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization [4.103281325880475]
本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
論文参考訳（メタデータ） (2020-09-03T15:20:21Z)
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文参考訳（メタデータ） (2020-06-23T01:34:18Z)
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。連続次元勾配流に拡張可能なプロトタイププロセスを定義する。フルバッチ限界では、標準勾配流を回復する。
論文参考訳（メタデータ） (2020-06-10T22:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。