Fugu-MT 論文翻訳(概要): Continual Learning from the Perspective of Compression

論文の概要: Continual Learning from the Perspective of Compression

arxiv url: http://arxiv.org/abs/2006.15078v1
Date: Fri, 26 Jun 2020 16:15:49 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 20:38:29.760127
Title: Continual Learning from the Perspective of Compression
Title（参考訳）: 圧縮の観点からの継続的な学習
Authors: Xu He, Min Lin
Abstract要約: ニューラルネットワークのようなコネクショニストモデルは破滅的な忘れ込みに悩まされる。 MLプラグインとベイズ混合符号を組み合わせた連続学習法を提案する。
参考スコア（独自算出の注目度）: 28.90542302130312
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Connectionist models such as neural networks suffer from catastrophic forgetting. In this work, we study this problem from the perspective of information theory and define forgetting as the increase of description lengths of previous data when they are compressed with a sequentially learned model. In addition, we show that continual learning approaches based on variational posterior approximation and generative replay can be considered as approximations to two prequential coding methods in compression, namely, the Bayesian mixture code and maximum likelihood (ML) plug-in code. We compare these approaches in terms of both compression and forgetting and empirically study the reasons that limit the performance of continual learning methods based on variational posterior approximation. To address these limitations, we propose a new continual learning method that combines ML plug-in and Bayesian mixture codes.
Abstract（参考訳）: ニューラルネットワークのようなコネクショニストモデルは破滅的な忘れ込みに悩まされる。本研究では,情報理論の観点からこの問題を考察し,逐次学習モデルを用いて圧縮された場合の先行データの記述長の増加として,忘れ方を定義する。さらに,変分後近似と生成リプレイに基づく連続学習アプローチは,圧縮における2つの前列符号化法,すなわちベイズ混合符号と最大ラピッド(ml)プラグイン符号の近似と見なすことができることを示した。これらのアプローチを圧縮と忘れの両方の観点から比較し,変分後近似に基づく連続学習法の性能を制限する要因を実験的に検討した。これらの制約に対処するため,MLプラグインとベイズ混合符号を組み合わせた連続学習法を提案する。

関連論文リスト

Sparse Bayesian Generative Modeling for Compressive Sensing [8.666730973498625]
この研究は、圧縮センシング(CS)における基本的な線形逆問題に、新しいタイプの正規化生成先行を導入することで対処する。提案手法は変分推論の概念を用いて理論的に支援し,異なる種類の圧縮可能な信号を用いて実験的に検証する。
論文参考訳（メタデータ） (2024-11-14T14:37:47Z)
Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning [1.8175282137722093]
科学機械学習(SciML)における不確実性(UQ)は、SciMLの強力な予測力と、学習したモデルの信頼性を定量化する方法を組み合わせる。我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDE)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。我々はモデル予測を継続的に更新する際の計算上の利点を提供する新しいRacatiベースの方法論を開発した。
論文参考訳（メタデータ） (2024-04-12T20:54:01Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文参考訳（メタデータ） (2022-11-28T18:59:51Z)
A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression [8.663322701649454]
大規模多重回帰に対する新しい経験的ベイズ手法を提案する。当社のアプローチでは、フレキシブルな"適応縮小"と変分近似の2つの主要なアイデアが組み合わさっている。提案手法では, 後進平均値がペナル化回帰問題を解く。
論文参考訳（メタデータ） (2022-08-23T12:42:57Z)
Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。多くの近似法が開発されており、必然的に近似誤差を導入している。この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文参考訳（メタデータ） (2022-05-30T22:16:25Z)
Cooperative learning for multi-view analysis [2.368995563245609]
複数機能セットを用いた教師あり学習手法(ビュー)を提案する。協調学習は、予測の通常の正方形エラー損失と、異なるデータビューからの予測に同意するよう奨励する"集積"ペナルティを組み合わせる。シミュレーションおよび実データ例における提案手法の有効性について述べる。
論文参考訳（メタデータ） (2021-12-23T03:13:25Z)
Learning Expected Emphatic Traces for Deep RL [32.984880782688535]
オフポリシーサンプリングと経験リプレイは、サンプル効率を改善し、モデルフリーの時間差学習手法をスケールするための鍵となる。リプレイと組み合わせることができるマルチステップ強調重み付けと、必要な強調重み付けを学習するための時間反転TD学習アルゴリズムを開発する。
論文参考訳（メタデータ） (2021-07-12T13:14:03Z)
Learned transform compression with optimized entropy encoding [72.20409648915398]
学習した変換圧縮の問題を検討し、離散符号上の変換と確率分布の両方を学習する。勾配のバックプロパゲーションを可能にするために量子化演算をソフト緩和し, 潜在符号のベクトル量子化を(スカラーではなく)採用した。
論文参考訳（メタデータ） (2021-04-07T17:58:01Z)
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文参考訳（メタデータ） (2020-10-14T20:03:58Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。