Fugu-MT 論文翻訳(概要): Online PAC-Bayes Learning

論文の概要: Online PAC-Bayes Learning

arxiv url: http://arxiv.org/abs/2206.00024v1
Date: Tue, 31 May 2022 18:00:09 GMT
ステータス: 処理完了
システム内更新日: 2022-06-02 16:44:47.409979
Title: Online PAC-Bayes Learning
Title（参考訳）: オンラインPAC-Bayes学習
Authors: Maxime Haddouche and Benjamin Guedj
Abstract要約: ほとんどのPAC-Bayesian境界は、推論や予測の前にデータを一度に収集するバッチ学習設定に保持される。これは、データストリームが収集され、アルゴリズムが動的に調整されなければならない、現代の多くの学習問題とは多少離れている。
参考スコア（独自算出の注目度）: 5.799808780731661
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Most PAC-Bayesian bounds hold in the batch learning setting where data is collected at once, prior to inference or prediction. This somewhat departs from many contemporary learning problems where data streams are collected and the algorithms must dynamically adjust. We prove new PAC-Bayesian bounds in this online learning framework, leveraging an updated definition of regret, and we revisit classical PAC-Bayesian results with a batch-to-online conversion, extending their remit to the case of dependent data. Our results hold for bounded losses, potentially \emph{non-convex}, paving the way to promising developments in online learning.
Abstract（参考訳）: ほとんどのPAC-Bayesian境界は、推論や予測の前にデータを一度に収集するバッチ学習設定に保持される。これは、データストリームが収集され、アルゴリズムが動的に調整する必要がある、現代の多くの学習問題からやや離れている。我々は,このオンライン学習フレームワークで新たなPAC-Bayesian境界を証明し,後悔の定義を更新し,従来のPAC-Bayesian結果を再検討し,バッチからオンラインへの変換を行い,その限界を依存データの場合まで延長する。私たちの結果は,オンライン学習における有望な発展への道を開く,潜在的に‘emph{non-convex}’という有界な損失を補っている。

関連論文リスト

PAC-tuning:Fine-tuning Pretrained Language Models with PAC-driven Perturbed Gradient Descent [11.866227238721939]
本稿では,この最適化課題に対処する2段階ファインチューニング手法であるPACチューニングを提案する。 PACチューニングは、適切なパラメータ分布を学習するために、PAC-Bayes境界を直接最小化する。第2に、PACチューニングは、トレーニング中にモデルパラメータに学習したノイズを注入することで勾配を調整し、摂動降下の変異をもたらす。
論文参考訳（メタデータ） (2023-10-26T17:09:13Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
論文参考訳（メタデータ） (2023-08-14T13:53:18Z)
Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
論文参考訳（メタデータ） (2023-05-30T17:31:25Z)
Leveraging Demonstrations to Improve Online Learning: Quality Matters [54.98983862640944]
改善の度合いは実演データの品質に左右されることが示されている。ベイズの法則を通したコヒーレントな方法で実演データを利用する情報TSアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-07T08:49:12Z)
Dynamic Regret of Online Markov Decision Processes [84.20723936192945]
オンラインマルコフ決定過程 (MDP) について, 損失関数や既知の遷移を逆向きに変化させることで検討する。我々は,学習者と実行可能な変更ポリシーのシーケンス間のパフォーマンス差として定義されるパフォーマンス指標として,動的後悔を選択する。オンラインMDPの基本モデルとして, エピソードループフリーショート・パス(SSP), エピソードSSP, 無限水平MPPの3つを考察する。
論文参考訳（メタデータ） (2022-08-26T07:42:53Z)
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文参考訳（メタデータ） (2021-10-13T07:31:31Z)
Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文参考訳（メタデータ） (2021-05-04T20:37:57Z)
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文参考訳（メタデータ） (2021-02-07T09:03:43Z)
PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。学習したデータ依存分布はランダム化予測に使用される。
論文参考訳（メタデータ） (2020-06-23T14:30:24Z)
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。