論文の概要: Online Loss Function Learning

• arxiv url: http://arxiv.org/abs/2301.13247v2
• Date: Wed, 17 Jan 2024 10:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 22:03:50.610525
• Title: Online Loss Function Learning
• Title（参考訳）: オンライン損失関数学習
• Authors: Christian Raymond, Qi Chen, Bing Xue, Mengjie Zhang
• Abstract要約: ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
• 参考スコア（独自算出の注目度）: 13.744076477599707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss function learning is a new meta-learning paradigm that aims to automate the essential task of designing a loss function for a machine learning model. Existing techniques for loss function learning have shown promising results, often improving a model's training dynamics and final inference performance. However, a significant limitation of these techniques is that the loss functions are meta-learned in an offline fashion, where the meta-objective only considers the very first few steps of training, which is a significantly shorter time horizon than the one typically used for training deep neural networks. This causes significant bias towards loss functions that perform well at the very start of training but perform poorly at the end of training. To address this issue we propose a new loss function learning technique for adaptively updating the loss function online after each update to the base model parameters. The experimental results show that our proposed method consistently outperforms the cross-entropy loss and offline loss function learning techniques on a diverse range of neural network architectures and datasets.
• Abstract（参考訳）: ロス関数学習は、機械学習モデルの損失関数を設計する重要なタスクを自動化することを目的とした、新しいメタ学習パラダイムである。 既存の損失関数学習技術は有望な結果を示し、しばしばモデルのトレーニング力学と最終的な推論性能を改善している。 しかしながら、これらのテクニックの重要な制限は、損失関数がオフラインでメタ学習されるという点であり、メタ目的はトレーニングの最初の数ステップのみを考慮し、深層ニューラルネットワークのトレーニングで一般的に使用されるものよりもはるかに短い時間軸である。 これにより、トレーニング開始時にうまく機能するが、トレーニング終了時に性能が低下する損失関数に対する大きな偏りが生じる。 この問題に対処するために,ベースモデルパラメータの更新毎にオンラインに損失関数を適応的に更新する新しい損失関数学習手法を提案する。 実験の結果,提案手法は多種多様なニューラルネットワークアーキテクチャとデータセット上で,クロスエントロピー損失とオフライン損失関数学習技術より一貫して優れていた。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• A survey and taxonomy of loss functions in machine learning [60.41650195728953]
  ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning [12.581217671500887]
  本稿では,ハイブリッド型ニューロシンボリックサーチ手法を用いて,モデルに依存しない損失関数を学習するためのメタラーニングフレームワークを提案する。 その結果,提案手法により発見されたメタ学習損失関数は,クロスエントロピー損失と最先端の損失関数学習の両方よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T10:29:01Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• A Mathematical Analysis of Learning Loss for Active Learning in Regression [2.792030485253753]
  本論文では、LearningLoss++と呼ばれる新しい修正を提案するためのLearning Lossの基礎を開発する。 本稿では,学習損失の解釈において,学習損失と学習ロス++との勾配を厳密に分析し比較することで,勾配が重要であることを示す。 また,異なるスケールで機能を組み合わせて損失を予測する畳み込みアーキテクチャを提案する。 learningloss++は、モデルがパフォーマンスの悪いシナリオを特定するのに優れており、モデルリファインメントがオープン世界での信頼性の高いパフォーマンスに繋がることを示している。
  論文  参考訳（メタデータ） (2021-04-19T13:54:20Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。