論文の概要: Deep Active Learning by Leveraging Training Dynamics

• arxiv url: http://arxiv.org/abs/2110.08611v1
• Date: Sat, 16 Oct 2021 16:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 17:12:59.365179
• Title: Deep Active Learning by Leveraging Training Dynamics
• Title（参考訳）: トレーニングダイナミクスを活用した深層アクティブラーニング
• Authors: Haonan Wang, Wei Huang, Andrew Margenot, Hanghang Tong, Jingrui He
• Abstract要約: 本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。 動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
• 参考スコア（独自算出の注目度）: 57.95155565319465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning theories and methods have been extensively studied in classical statistical learning settings. However, deep active learning, i.e., active learning with deep learning models, is usually based on empirical criteria without solid theoretical justification, thus suffering from heavy doubts when some of those fail to provide benefits in applications. In this paper, by exploring the connection between the generalization performance and the training dynamics, we propose a theory-driven deep active learning method (dynamicAL) which selects samples to maximize training dynamics. In particular, we prove that convergence speed of training and the generalization performance is positively correlated under the ultra-wide condition and show that maximizing the training dynamics leads to a better generalization performance. Further on, to scale up to large deep neural networks and data sets, we introduce two relaxations for the subset selection problem and reduce the time complexity from polynomial to constant. Empirical results show that dynamicAL not only outperforms the other baselines consistently but also scales well on large deep learning models. We hope our work inspires more attempts in bridging the theoretical findings of deep networks and practical impacts in deep active learning applications.
• Abstract（参考訳）: アクティブラーニング理論と手法は、古典的統計学の設定で広く研究されてきた。 しかし、深層アクティブラーニング、すなわちディープラーニングモデルを用いたアクティブラーニングは、理論的な正当性のない経験的基準に基づいているため、アプリケーションへのメリットを提供していない場合、大きな疑問が持たれている。 本稿では,一般化性能とトレーニングダイナミクスの関係を探ることにより,学習ダイナミクスを最大化するためにサンプルを選択する理論駆動型深層アクティブラーニング手法(dynamical)を提案する。 特に,訓練の収束速度と一般化性能は,超広範条件下で正の相関関係にあることを証明し,訓練ダイナミクスの最大化が一般化性能の向上につながることを示す。 さらに,大規模深層ニューラルネットワークとデータセットにスケールアップするために,部分集合選択問題に対する2つの緩和を導入し,多項式から定数までの時間の複雑さを低減した。 経験的結果は、動的は他のベースラインを一貫して上回るだけでなく、大きなディープラーニングモデルでもうまくスケールすることを示している。 私たちの研究が、ディープネットワークの理論的な知見と、ディープラーニングアプリケーションにおける実践的な影響を橋渡しする試みを刺激することを期待しています。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Advancing Deep Active Learning & Data Subset Selection: Unifying Principles with Information-Theory Intuitions [3.0539022029583953]
  本論文は,ディープラーニングモデルのラベルとトレーニング効率を向上させることにより,ディープラーニングの実践性を高めることを目的とする。 本稿では,情報理論の原理に基づくデータサブセット選択手法,特にアクティブラーニングとアクティブサンプリングについて検討する。
  論文  参考訳（メタデータ） (2024-01-09T01:41:36Z)
• An Expert's Guide to Training Physics-informed Neural Networks [5.198985210238479]
  物理インフォームドニューラルネットワーク(PINN)はディープラーニングフレームワークとして普及している。 PINNは観測データと偏微分方程式(PDE)の制約をシームレスに合成することができる。 PINNのトレーニング効率と全体的な精度を大幅に向上させる一連のベストプラクティスを提案する。
  論文  参考訳（メタデータ） (2023-08-16T16:19:25Z)
• Loss Dynamics of Temporal Difference Reinforcement Learning [36.772501199987076]
  線形関数近似器を用いた値関数の時間差学習のためのケースラーニング曲線について検討した。 本研究では,学習力学と台地が特徴構造,学習率,割引係数,報酬関数にどのように依存するかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T18:17:50Z)
• Exploring Adversarial Examples for Efficient Active Learning in Machine Learning Classifiers [17.90617023533039]
  まず、敵攻撃法を用いて、元の訓練例に特定の摂動を加える。 次に、アクティブラーニングとこれらの特定のトレーニング例との関係について検討する。 その結果, 理論基盤の確立は, 敵の事例に基づいて, より良いアクティブな学習戦略を導いてくれることが示唆された。
  論文  参考訳（メタデータ） (2021-09-22T14:51:26Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。