論文の概要: Sequential Learning Of Neural Networks for Prequential MDL

• arxiv url: http://arxiv.org/abs/2210.07931v1
• Date: Fri, 14 Oct 2022 16:30:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:42:43.455744
• Title: Sequential Learning Of Neural Networks for Prequential MDL
• Title（参考訳）: 逐次MDLのためのニューラルネットワークの逐次学習
• Authors: Jorg Bornschein and Yazhe Li and Marcus Hutter
• Abstract要約: ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。 計算コストを考慮すると、リハーサルによるオンライン学習は好成績であることがわかった。 本稿では,画像分類データセットの集合に対する記述長について述べる。
• 参考スコア（独自算出の注目度）: 18.475866691786695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimum Description Length (MDL) provides a framework and an objective for principled model evaluation. It formalizes Occam's Razor and can be applied to data from non-stationary sources. In the prequential formulation of MDL, the objective is to minimize the cumulative next-step log-loss when sequentially going through the data and using previous observations for parameter estimation. It thus closely resembles a continual- or online-learning problem. In this study, we evaluate approaches for computing prequential description lengths for image classification datasets with neural networks. Considering the computational cost, we find that online-learning with rehearsal has favorable performance compared to the previously widely used block-wise estimation. We propose forward-calibration to better align the models predictions with the empirical observations and introduce replay-streams, a minibatch incremental training technique to efficiently implement approximate random replay while avoiding large in-memory replay buffers. As a result, we present description lengths for a suite of image classification datasets that improve upon previously reported results by large margins.
• Abstract（参考訳）: 最小記述長(MDL)は、原則モデル評価のためのフレームワークと目的を提供する。 occamのカミソリを形式化し、非定常ソースのデータに適用することができる。 MDLの逐次定式化では、データを逐次通過する際の累積的な次ステップのログロスを最小化し、パラメータ推定に以前の観測を使用する。 そのため、継続学習やオンライン学習によく似ている。 本研究では,ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。 計算コストを考慮すると,リハーサルによるオンライン学習は,従来広く用いられてきたブロックワイズ推定よりも優れた性能を示すことがわかった。 本研究では,モデル予測を経験的観測とよく一致させ,大規模メモリリプレイバッファを回避しつつ近似ランダムリプレイを効率的に実装するミニバッチインクリメンタルトレーニング手法であるreplay-streamsを提案する。 その結果,画像分類データセットの集合に対する記述長が,従来報告した結果よりも大きなマージンで改善された。

関連論文リスト

• Few-Shot Load Forecasting Under Data Scarcity in Smart Grids: A Meta-Learning Approach [0.18641315013048293]
  本稿では,短期負荷予測のためのモデルに依存しないメタ学習アルゴリズムを提案する。 提案手法は,任意の長さの未知の負荷時間列に迅速に適応し,一般化することができる。 提案手法は,実世界の消費者の歴史的負荷消費データのデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-09T18:59:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Short-term power load forecasting method based on CNN-SAEDN-Res [12.733504847643005]
  本稿では、畳み込みニューラルネットワーク(CNN)、自己アテンションエンコーダデコーダネットワーク(SAEDN)、残差リファインメント(Res)に基づく短期負荷予測手法を提案する。 提案手法は予測精度と予測安定性の点で利点がある。
  論文  参考訳（メタデータ） (2023-09-02T11:36:50Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach [6.244905619201076]
  この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。 このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。 提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2022-11-02T18:16:17Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Monocular Depth Estimation via Listwise Ranking using the Plackett-Luce Model [15.472533971305367]
  多くの実世界のアプリケーションでは、画像内の物体の相対的な深さがシーン理解に不可欠である。 近年のアプローチでは, この問題を回帰課題として扱うことにより, 単眼画像の深度予測の問題に対処している。 しかし、ランク付け手法は回帰の自然な代替として自らを示唆しており、実際、ペア比較を利用したランク付け手法はこの問題に対して有望な性能を示している。
  論文  参考訳（メタデータ） (2020-10-25T13:40:10Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。