Fugu-MT 論文翻訳(概要): A case for new neural network smoothness constraints

論文の概要: A case for new neural network smoothness constraints

arxiv url: http://arxiv.org/abs/2012.07969v2
Date: Mon, 21 Dec 2020 21:32:28 GMT
ステータス: 処理完了
システム内更新日: 2021-05-08 17:37:28.756081
Title: A case for new neural network smoothness constraints
Title（参考訳）: 新しいニューラルネットワークのスムーズ性制約の1例
Authors: Mihaela Rosca, Theophane Weber, Arthur Gretton, Shakir Mohamed
Abstract要約: モデルスムースネスは,一般化,対向的堅牢性,生成的モデリング,強化学習を支援する有用な帰納的バイアスであることを示す。この分野の新しい進歩は、データ、タスク、学習を滑らかさの定義に組み込む方法を見つけることに集中していると結論づけた。
参考スコア（独自算出の注目度）: 34.373610792075205
License: http://creativecommons.org/licenses/by/4.0/
Abstract: How sensitive should machine learning models be to input changes? We tackle the question of model smoothness and show that it is a useful inductive bias which aids generalization, adversarial robustness, generative modeling and reinforcement learning. We explore current methods of imposing smoothness constraints and observe they lack the flexibility to adapt to new tasks, they don't account for data modalities, they interact with losses, architectures and optimization in ways not yet fully understood. We conclude that new advances in the field are hinging on finding ways to incorporate data, tasks and learning into our definitions of smoothness.
Abstract（参考訳）: 機械学習モデルは、どの程度変化を入力すべきか? モデル平滑性の問題に取り組み,一般化,対向ロバスト性,生成モデル,強化学習を支援する効果的な帰納バイアスであることを示す。我々は、スムーズな制約を課す現在の方法を探り、新しいタスクに適応する柔軟性が欠如していること、データモダリティを考慮せず、損失やアーキテクチャ、最適化と完全には理解されていない方法で相互作用するのを観察します。この分野の新しい進歩は、データ、タスク、学習を滑らかさの定義に組み込む方法を見つけることに集中していると結論づけた。

関連論文リスト

Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文参考訳（メタデータ） (2023-06-18T05:26:49Z)
Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文参考訳（メタデータ） (2023-06-04T18:14:18Z)
Online Deep Learning from Doubly-Streaming Data [17.119725174036653]
本稿では,データストリームが常に進化する特徴空間によって記述される,二重ストリームデータによる新たなオンライン学習問題について検討する。この課題を克服するもっともらしいアイデアは、進化する機能空間間の関係を確立することである。従来の特徴空間と新しい特徴空間から情報を要約するために,共有潜在部分空間が発見された新しいOLD3Sパラダイムを提案する。
論文参考訳（メタデータ） (2022-04-25T17:06:39Z)
Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation [39.97128550414934]
本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
論文参考訳（メタデータ） (2022-04-02T16:30:04Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文参考訳（メタデータ） (2022-02-04T14:12:31Z)
Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文参考訳（メタデータ） (2021-02-11T16:27:31Z)
Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。