論文の概要: Implicit biases in multitask and continual learning from a backward error analysis perspective

• arxiv url: http://arxiv.org/abs/2311.00235v1
• Date: Wed, 1 Nov 2023 02:37:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 15:08:47.597576
• Title: Implicit biases in multitask and continual learning from a backward error analysis perspective
• Title（参考訳）: 後方誤り解析の観点からのマルチタスクおよび連続学習における帰属バイアス
• Authors: Benoit Dherin
• Abstract要約: 勾配降下学習ニューラルネットワークのマルチタスクおよび連続学習設定における暗黙的学習バイアスを計算した。 トレーニング中に暗黙的に最小化される修正された損失を導出します。
• 参考スコア（独自算出の注目度）: 5.710971447109951
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using backward error analysis, we compute implicit training biases in multitask and continual learning settings for neural networks trained with stochastic gradient descent. In particular, we derive modified losses that are implicitly minimized during training. They have three terms: the original loss, accounting for convergence, an implicit flatness regularization term proportional to the learning rate, and a last term, the conflict term, which can theoretically be detrimental to both convergence and implicit regularization. In multitask, the conflict term is a well-known quantity, measuring the gradient alignment between the tasks, while in continual learning the conflict term is a new quantity in deep learning optimization, although a basic tool in differential geometry: The Lie bracket between the task gradients.
• Abstract（参考訳）: 後方誤り解析を用いて,確率勾配降下学習ニューラルネットワークのマルチタスクおよび連続学習設定における暗黙のトレーニングバイアスを計算する。 特に、トレーニング中に暗黙的に最小化される修正された損失を導き出す。 それらには3つの用語がある: もともとの損失、収束の計算、学習率に比例する暗黙の平坦性正規化項、そして理論上は収束と暗黙の正規化の両方に有害である衝突項である。 マルチタスクでは、コンフリクト項はタスク間の勾配アライメントを測定することでよく知られた量であり、連続学習においてはコンフリクト項はディープラーニング最適化の新しい量であるが、微分幾何学の基本的なツールである:タスク勾配間のリーブラケットである。

関連論文リスト

• A mean curvature flow arising in adversarial training [1.2289361708127877]
  我々は、二項分類のための対角訓練を、決定境界に対する幾何学的進化方程式に結びつける。 このスキームは単調かつ一貫したものであり、敵の予算が消滅し、周辺がローカライズされると証明する。 このことは、対人訓練の有効性は、決定境界の長さを局所的に最小化することによる可能性があることを強調している。
  論文  参考訳（メタデータ） (2024-04-22T17:58:36Z)
• On Uniform Scalar Quantization for Learned Image Compression [17.24702997651976]
  その結果,サロゲートとラウンドリングの相違が列車のミスマッチの原因となり,サロゲートによる勾配推定のリスクが生じた。 解析により,推定量化潜在分布の分散に対する適切な下限を設定することで,列車のミスマッチを効果的に低減する2つの微妙なトリックが明らかになった。 本手法は,様々な画像圧縮ネットワークにおいて,従来の量子化サロゲートよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T08:23:36Z)
• Online Regularized Learning Algorithm for Functional Data [2.5382095320488673]
  本稿では,Hilbertカーネル空間におけるオンライン正規化学習アルゴリズムについて考察する。 その結果, 定常的なステップサイズでの予測誤差と推定誤差の収束速度は, 文献と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-24T11:56:10Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Generalized Negative Correlation Learning for Deep Ensembling [7.569288952340753]
  Ensembleアルゴリズムは、多くの機械学習アプリケーションにおいて、最先端のアートパフォーマンスを提供する。 任意の2つの微分可能な損失関数に対する一般化バイアス分散分解を定式化する。 我々は,アンサンブルの多様性を明示的に制御する一般化負相関学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-11-05T16:29:22Z)
• MTAdam: Automatic Balancing of Multiple Training Loss Terms [95.99508450208813]
  複数の損失項を扱うためにAdam最適化アルゴリズムを一般化する。 新たな手法によるトレーニングは, 最適初期損失重み付けの早期回復につながることを示す。
  論文  参考訳（メタデータ） (2020-06-25T20:27:27Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
  本稿では,データ駆動型汎用全深度変動正規化器について紹介する。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 我々は多数の画像処理タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T21:54:15Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。