論文の概要: AutoLoss-Zero: Searching Loss Functions from Scratch for Generic Tasks

• arxiv url: http://arxiv.org/abs/2103.14026v1
• Date: Thu, 25 Mar 2021 17:59:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:34:14.885531
• Title: AutoLoss-Zero: Searching Loss Functions from Scratch for Generic Tasks
• Title（参考訳）: AutoLoss-Zero: ジェネリックタスクのスクラッチからロス関数を探す
• Authors: Hao Li, Tianwen Fu, Jifeng Dai, Hongsheng Li, Gao Huang, Xizhou Zhu
• Abstract要約: AutoLoss-Zeroは、ジェネリックタスクのスクラッチから損失関数を検索する最初のフレームワークである。 探索効率を向上させるために、損失低減プロトコルと勾配等価性チェック戦略を開発する。 様々なコンピュータビジョンタスクにおける実験により、検索損失関数は既存の損失関数と同等かそれ以上かが示されている。
• 参考スコア（独自算出の注目度）: 78.27036391638802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Significant progress has been achieved in automating the design of various components in deep networks. However, the automatic design of loss functions for generic tasks with various evaluation metrics remains under-investigated. Previous works on handcrafting loss functions heavily rely on human expertise, which limits their extendibility. Meanwhile, existing efforts on searching loss functions mainly focus on specific tasks and particular metrics, with task-specific heuristics. Whether such works can be extended to generic tasks is not verified and questionable. In this paper, we propose AutoLoss-Zero, the first general framework for searching loss functions from scratch for generic tasks. Specifically, we design an elementary search space composed only of primitive mathematical operators to accommodate the heterogeneous tasks and evaluation metrics. A variant of the evolutionary algorithm is employed to discover loss functions in the elementary search space. A loss-rejection protocol and a gradient-equivalence-check strategy are developed so as to improve the search efficiency, which are applicable to generic tasks. Extensive experiments on various computer vision tasks demonstrate that our searched loss functions are on par with or superior to existing loss functions, which generalize well to different datasets and networks. Code shall be released.
• Abstract（参考訳）: ディープネットワークにおける様々なコンポーネント設計の自動化において、重要な進歩が達成されている。 しかし,様々な評価指標を用いた汎用タスクの損失関数の自動設計は未検討のままである。 ハンドクラフトの損失機能に関する以前の研究は、人間の専門知識に大きく依存しており、拡張性に制限がある。 一方、損失関数を検索する既存の取り組みは、タスク固有のヒューリスティックを持つ特定のタスクと特定のメトリクスに重点を置いている。 そのような作業がジェネリックタスクに拡張できるかどうかは検証されておらず、疑わしい。 本稿では,一般的なタスクのスクラッチから損失関数を探索する最初の汎用フレームワークであるAutoLoss-Zeroを提案する。 具体的には,不均質なタスクと評価指標に対応するために,原始数学的演算子のみからなる基本探索空間を設計する。 基本探索空間における損失関数を発見するために進化アルゴリズムの変種が用いられる。 一般的なタスクに適用可能な探索効率を向上させるために、損失低減プロトコルと勾配等価性チェック戦略を開発する。 様々なコンピュータビジョンタスクに関する広範囲な実験により、検索された損失関数は、既存の損失関数と同等かそれ以上であるかが証明された。 コードは解放される。

関連論文リスト

• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• A survey and taxonomy of loss functions in machine learning [60.41650195728953]
  ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Reinforcement Learning with Automated Auxiliary Loss Search [34.83123677004838]
  補助的損失関数を用いたより良い表現を学習するための原理的,普遍的な手法を提案する。 具体的には、7.5×1020$の一般的な補助損失空間を定義し、効率的な進化的探索戦略を用いて空間を探索する。 その結果, 高次元(イメージ)と低次元(ベクター)の両タスクにおいて, 補助的損失が有意に改善されることが判明した。
  論文  参考訳（メタデータ） (2022-10-12T09:24:53Z)
• AutoGPart: Intermediate Supervision Search for Generalizable 3D Part Segmentation [58.78094823473567]
  AutoGPartは、幾何学的な事前知識を符号化した監視空間を構築し、マシンが特定のセグメンテーションタスクの最適な監督を自動で検索できるようにする。 本稿では,単純なバックボーンを用いたセグメンテーションネットワークの性能を,本手法で探索した教師によるトレーニングにより向上できることを実証する。
  論文  参考訳（メタデータ） (2022-03-13T03:45:58Z)
• Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning [50.59295648948287]
  数ショットの学習シナリオでは、新しい目に見えない例を一般化し、うまく実行するのが課題だ。 各タスクに適応する損失関数を備えた新しいメタ学習フレームワークを導入する。 提案フレームワークはMeta-Learning with Task-Adaptive Loss Function (MeTAL) と名付けられ,様々な領域における有効性と柔軟性を示す。
  論文  参考訳（メタデータ） (2021-10-08T06:07:21Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。