論文の概要: Learning to Rank Learning Curves

• arxiv url: http://arxiv.org/abs/2006.03361v1
• Date: Fri, 5 Jun 2020 10:49:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 02:32:03.583041
• Title: Learning to Rank Learning Curves
• Title（参考訳）: 学習曲線のランク付けを学ぶ
• Authors: Martin Wistuba and Tejaswini Pedapati
• Abstract要約: 本稿では,トレーニングの早い段階で,構成不良を解消し,計算予算を削減できる新しい手法を提案する。 我々は,学習曲線を観測することなく,学習曲線を効果的にランク付けできることを示す。
• 参考スコア（独自算出の注目度）: 15.976034696758148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many automated machine learning methods, such as those for hyperparameter and neural architecture optimization, are computationally expensive because they involve training many different model configurations. In this work, we present a new method that saves computational budget by terminating poor configurations early on in the training. In contrast to existing methods, we consider this task as a ranking and transfer learning problem. We qualitatively show that by optimizing a pairwise ranking loss and leveraging learning curves from other datasets, our model is able to effectively rank learning curves without having to observe many or very long learning curves. We further demonstrate that our method can be used to accelerate a neural architecture search by a factor of up to 100 without a significant performance degradation of the discovered architecture. In further experiments we analyze the quality of ranking, the influence of different model components as well as the predictive behavior of the model.
• Abstract（参考訳）: ハイパーパラメータやニューラルアーキテクチャ最適化などの多くの自動機械学習手法は、さまざまなモデル構成のトレーニングを含むため、計算コストがかかる。 そこで本研究では,学習の早い段階で構成不良を解消し,計算予算を削減する新しい手法を提案する。 既存の手法とは対照的に、我々はこのタスクをランキングと転送の学習問題と見なしている。 本モデルでは,ペアワイズランキングの損失を最適化し,他のデータセットからの学習曲線を活用することにより,学習曲線を多数,あるいは非常に長い学習曲線を観察することなく,効果的にランク付けできることを示す。 さらに,本手法は,検出したアーキテクチャの大幅な性能劣化を伴わずに,最大100倍の精度でニューラルネットワーク探索を高速化できることを示す。 さらなる実験では、ランキングの質、異なるモデルコンポーネントの影響、およびモデルの予測行動を分析した。

関連論文リスト

• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
  地上からの太陽画像の復元は計算に費用がかかる手続きである。 本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。 両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
  論文  参考訳（メタデータ） (2023-06-21T07:53:00Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
  ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。 より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。 トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:11:33Z)
• Learning from Mistakes based on Class Weighting with Application to Neural Architecture Search [12.317568257671427]
  ミスからの学習(LFM)という,シンプルで効果的な多段階最適化フレームワークを提案する。 主な目的は、将来の同様のミスを防ぐために、再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。 本定式化では,モデルの検証損失を最小限に抑えてクラスウェイトを学習し,クラスワイド性能と実データにより重み付けされた画像生成装置の合成データを用いてモデルを再学習する。
  論文  参考訳（メタデータ） (2021-12-01T04:56:49Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。