Fugu-MT 論文翻訳(概要): Data-dependent and Oracle Bounds on Forgetting in Continual Learning

論文の概要: Data-dependent and Oracle Bounds on Forgetting in Continual Learning

arxiv url: http://arxiv.org/abs/2406.09370v1
Date: Thu, 13 Jun 2024 17:50:51 GMT
ステータス: 処理完了
システム内更新日: 2024-06-14 16:15:58.965261
Title: Data-dependent and Oracle Bounds on Forgetting in Continual Learning
Title（参考訳）: 継続的学習におけるデータ依存とOracleの前提
Authors: Lior Friedman, Ron Meir,
Abstract要約: 継続的な学習では、知識はタスク間で保存され、再利用されなければならない。モデルとアルゴリズムの選択に関係なく適用可能な,データ依存およびオラクル上界の両方を提供する。我々は境界にインスパイアされたアルゴリズムを導出し、我々のアプローチが前方および後方移動を改善することを実証的に実証した。
参考スコア（独自算出の注目度）: 7.903539618132858
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In continual learning, knowledge must be preserved and re-used between tasks, maintaining good transfer to future tasks and minimizing forgetting of previously learned ones. While several practical algorithms have been devised for this setting, there have been few theoretical works aiming to quantify and bound the degree of Forgetting in general settings. We provide both data-dependent and oracle upper bounds that apply regardless of model and algorithm choice, as well as bounds for Gibbs posteriors. We derive an algorithm inspired by our bounds and demonstrate empirically that our approach yields improved forward and backward transfer.
Abstract（参考訳）: 継続的な学習では、知識はタスク間で保存および再利用され、将来のタスクへの適切な転送を維持し、以前に学習したタスクの忘れを最小化しなければならない。この設定のためにいくつかの実践的なアルゴリズムが考案されているが、一般的な設定におけるフォーッティングの程度を定量化し、バウンドすることを目的とした理論的研究はほとんどない。モデルとアルゴリズムの選択にかかわらず適用できるデータ依存上界とオラクル上界の両方と、ギブス後辺のバウンダリを提供する。我々は境界にインスパイアされたアルゴリズムを導出し、我々のアプローチが前方および後方移動を改善することを実証的に実証した。

関連論文リスト

Employing Layerwised Unsupervised Learning to Lessen Data and Loss Requirements in Forward-Forward Algorithms [1.0514231683620516]
Forward-Forwardアルゴリズムは、フォワードパスのみを通してディープラーニングモデルを訓練する。バックプロパゲーションを置き換えるために,教師なしフォワードアルゴリズムを提案する。安定した学習を導き、さまざまなデータセットやタスクで汎用的な利用を可能にします。
論文参考訳（メタデータ） (2024-04-23T01:49:12Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Oracle-Efficient Smoothed Online Learning for Piecewise Continuous Decision Making [73.48977854003697]
この研究は、複雑性という新しい概念、一般化ブラケット数を導入し、空間の大きさに対する敵の制約を結婚させる。次に、オンライン予測や断片的連続関数の計画など、関心のあるいくつかの問題で境界をインスタンス化する。
論文参考訳（メタデータ） (2023-02-10T18:45:52Z)
Continual Learning with Distributed Optimization: Does CoCoA Forget? [0.0]
タスクが順次到着する継続的学習問題に着目する。目指すのは、新しく到着したタスクに対して、以前見たタスクのパフォーマンスを低下させることなく、うまく機能することである。分散学習アルゴリズムCOCOAについて検討する。
論文参考訳（メタデータ） (2022-11-30T13:49:43Z)
Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文参考訳（メタデータ） (2022-11-14T19:53:15Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
論文参考訳（メタデータ） (2022-02-09T19:22:34Z)
Metalearning Linear Bandits by Prior Update [7.519872646378836]
完全なベイズ的アプローチは、問題のパラメータは既知の事前から生成されると仮定するが、実際にはそのような情報は欠落することが多い。この問題は、ある部分的な情報を持つ意思決定設定において悪化し、不特定事前の使用は、探索の質が悪く、性能が劣る可能性がある。この研究において、線形帯域幅とガウス事前の文脈において、事前推定が真の事前に十分近い限り、不特定事前を用いたアルゴリズムの性能は真の先行を用いたアルゴリズムのそれに近いことを証明した。
論文参考訳（メタデータ） (2021-07-12T11:17:01Z)
Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文参考訳（メタデータ） (2020-07-30T16:00:23Z)
A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks [70.88503833248159]
連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
論文参考訳（メタデータ） (2020-07-07T07:34:09Z)
Structure Adaptive Algorithms for Stochastic Bandits [22.871155520200773]
構造化多武装バンディット問題のクラスにおける報酬最大化について検討する。平均的な武器の報酬は、与えられた構造的制約を満たす。我々は、反復的なサドルポイントソルバを用いて、インスタンス依存の低バウンドからのアルゴリズムを開発する。
論文参考訳（メタデータ） (2020-07-02T08:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。