Fugu-MT 論文翻訳(概要): Data-dependent and Oracle Bounds on Forgetting in Continual Learning

論文の概要: Data-dependent and Oracle Bounds on Forgetting in Continual Learning

arxiv url: http://arxiv.org/abs/2406.09370v1
Date: Thu, 13 Jun 2024 17:50:51 GMT
ステータス: 処理完了
システム内更新日: 2024-06-14 16:15:58.965261
Title: Data-dependent and Oracle Bounds on Forgetting in Continual Learning
Title（参考訳）: 継続的学習におけるデータ依存とOracleの前提
Authors: Lior Friedman, Ron Meir,
Abstract要約: 継続的な学習では、知識はタスク間で保存され、再利用されなければならない。モデルとアルゴリズムの選択に関係なく適用可能な,データ依存およびオラクル上界の両方を提供する。我々は境界にインスパイアされたアルゴリズムを導出し、我々のアプローチが前方および後方移動を改善することを実証的に実証した。
参考スコア（独自算出の注目度）: 7.903539618132858
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In continual learning, knowledge must be preserved and re-used between tasks, maintaining good transfer to future tasks and minimizing forgetting of previously learned ones. While several practical algorithms have been devised for this setting, there have been few theoretical works aiming to quantify and bound the degree of Forgetting in general settings. We provide both data-dependent and oracle upper bounds that apply regardless of model and algorithm choice, as well as bounds for Gibbs posteriors. We derive an algorithm inspired by our bounds and demonstrate empirically that our approach yields improved forward and backward transfer.
Abstract（参考訳）: 継続的な学習では、知識はタスク間で保存および再利用され、将来のタスクへの適切な転送を維持し、以前に学習したタスクの忘れを最小化しなければならない。この設定のためにいくつかの実践的なアルゴリズムが考案されているが、一般的な設定におけるフォーッティングの程度を定量化し、バウンドすることを目的とした理論的研究はほとんどない。モデルとアルゴリズムの選択にかかわらず適用できるデータ依存上界とオラクル上界の両方と、ギブス後辺のバウンダリを提供する。我々は境界にインスパイアされたアルゴリズムを導出し、我々のアプローチが前方および後方移動を改善することを実証的に実証した。

関連論文リスト

Generalization Bounds for Dependent Data using Online-to-Batch Conversion [0.6144680854063935]
混合プロセスから抽出したサンプルに基づいて学習したバッチ学習アルゴリズムの一般化誤差を上限とする。私たちの仕事は、バッチ学習者に対する安定性の仮定を一切必要としません。我々は、オンライン学習アルゴリズムの教科書ファミリーであるEWAアルゴリズムが、我々の新しい安定性の概念を満たすことを証明した。
論文参考訳（メタデータ） (2024-05-22T14:07:25Z)
Near-Optimal Solutions of Constrained Learning Problems [85.48853063302764]
機械学習システムでは、振る舞いを縮小する必要性がますます顕在化している。これは、双対ロバスト性変数を満たすモデルの開発に向けた最近の進歩によって証明されている。この結果から, 豊富なパラメトリゼーションは非次元的, 有限な学習問題を効果的に緩和することが示された。
論文参考訳（メタデータ） (2024-03-18T14:55:45Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Oracle-Efficient Smoothed Online Learning for Piecewise Continuous Decision Making [73.48977854003697]
この研究は、複雑性という新しい概念、一般化ブラケット数を導入し、空間の大きさに対する敵の制約を結婚させる。次に、オンライン予測や断片的連続関数の計画など、関心のあるいくつかの問題で境界をインスタンス化する。
論文参考訳（メタデータ） (2023-02-10T18:45:52Z)
Continual Learning with Distributed Optimization: Does CoCoA Forget? [0.0]
タスクが順次到着する継続的学習問題に着目する。目指すのは、新しく到着したタスクに対して、以前見たタスクのパフォーマンスを低下させることなく、うまく機能することである。分散学習アルゴリズムCOCOAについて検討する。
論文参考訳（メタデータ） (2022-11-30T13:49:43Z)
Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文参考訳（メタデータ） (2022-11-14T19:53:15Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
PAC-Bayesian Lifelong Learning For Multi-Armed Bandits [38.76324445090305]
生涯学習におけるPAC-Bayesian分析について述べる。各学習課題が多腕バンディット問題である場合について考察する。我々は,新たな境界を学習目的とする生涯学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-07T11:23:12Z)
Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
論文参考訳（メタデータ） (2022-02-09T19:22:34Z)
Metalearning Linear Bandits by Prior Update [7.519872646378836]
完全なベイズ的アプローチは、問題のパラメータは既知の事前から生成されると仮定するが、実際にはそのような情報は欠落することが多い。この問題は、ある部分的な情報を持つ意思決定設定において悪化し、不特定事前の使用は、探索の質が悪く、性能が劣る可能性がある。この研究において、線形帯域幅とガウス事前の文脈において、事前推定が真の事前に十分近い限り、不特定事前を用いたアルゴリズムの性能は真の先行を用いたアルゴリズムのそれに近いことを証明した。
論文参考訳（メタデータ） (2021-07-12T11:17:01Z)
A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks [70.88503833248159]
連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
論文参考訳（メタデータ） (2020-07-07T07:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。