論文の概要: Optimizing Loss Functions Through Multivariate Taylor Polynomial Parameterization

• arxiv url: http://arxiv.org/abs/2002.00059v4
• Date: Fri, 2 Oct 2020 05:29:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 05:36:08.077282
• Title: Optimizing Loss Functions Through Multivariate Taylor Polynomial Parameterization
• Title（参考訳）: 多変量テイラー多項式パラメータ化による損失関数の最適化
• Authors: Santiago Gonzalez and Risto Miikkulainen
• Abstract要約: ロス関数はメタ知識の一種であり、ディープニューラルネットワーク(DNN)アーキテクチャの効果的なトレーニングに不可欠である。 本稿では,テイラーパラメータ化の連続CMA-ES最適化を提案する。 MNIST、CIFAR-10、SVHNのベンチマークタスクでは、TaylorGLOはGPで発見された関数よりも優れた新しい損失関数を発見した。
• 参考スコア（独自算出の注目度）: 16.8615211682877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metalearning of deep neural network (DNN) architectures and hyperparameters has become an increasingly important area of research. Loss functions are a type of metaknowledge that is crucial to effective training of DNNs, however, their potential role in metalearning has not yet been fully explored. Whereas early work focused on genetic programming (GP) on tree representations, this paper proposes continuous CMA-ES optimization of multivariate Taylor polynomial parameterizations. This approach, TaylorGLO, makes it possible to represent and search useful loss functions more effectively. In MNIST, CIFAR-10, and SVHN benchmark tasks, TaylorGLO finds new loss functions that outperform functions previously discovered through GP, as well as the standard cross-entropy loss, in fewer generations. These functions serve to regularize the learning task by discouraging overfitting to the labels, which is particularly useful in tasks where limited training data is available. The results thus demonstrate that loss function optimization is a productive new avenue for metalearning.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)アーキテクチャとハイパーパラメータのメタラーニングは、ますます重要な研究領域になりつつある。 ロス関数は、DNNの効果的な訓練に不可欠なメタ知識の一種であるが、メタラーニングにおけるその潜在的な役割はまだ十分に解明されていない。 木表現における遺伝的プログラミング(GP)に焦点を当てた初期の研究に対して,多変量テイラー多項式パラメータ化の連続CMA-ES最適化を提案する。 このアプローチであるTaylorGLOは、有用な損失関数をより効果的に表現し、検索できるようにする。 MNIST、CIFAR-10、SVHNのベンチマークタスクでは、TaylorGLOは、GPによって以前に発見された関数と標準のクロスエントロピー損失を、より少ない世代で上回る新しい損失関数を発見した。 これらの機能はラベルへの過剰適合を損なうことによって学習タスクを定式化するのに役立ち、限られたトレーニングデータが利用できるタスクでは特に有用である。 その結果,損失関数最適化はメタラーニングの新たな方法であることがわかった。

関連論文リスト

• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Meta-learning PINN loss functions [5.543220407902113]
  本稿では,物理インフォームドニューラルネットワーク(PINN)損失関数のオフライン発見のためのメタラーニング手法を提案する。 パラメータ化偏微分方程式(PDE)に基づく多様なタスク分布に対応する勾配に基づくメタラーニングアルゴリズムを開発した。 この結果から,共有タスクのオフライン学習損失関数を用いることで,大幅な性能向上が達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-12T16:13:39Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Effective Regularization Through Loss-Function Metalearning [16.8615211682877]
  TaylorGLOによって進化した損失関数は、プルからゼロエラーへのバランスを保ち、過度な適合を避けるためにそれから離れることが示される。 したがって、損失関数の進化は、ニューラルネットワークにおけるメタラーニングの、十分に確立された新しい側面と見なすことができる。
  論文  参考訳（メタデータ） (2020-10-02T05:22:21Z)
• Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
  進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。 これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
  論文  参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。