論文の概要: Loss Functions for Predictor-based Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2506.05869v1
• Date: Fri, 06 Jun 2025 08:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.383935
• Title: Loss Functions for Predictor-based Neural Architecture Search
• Title（参考訳）: 予測器に基づくニューラルアーキテクチャ探索のための損失関数
• Authors: Han Ji, Yuqi Feng, Jiahao Fan, Yanan Sun,
• Abstract要約: 性能予測器における損失関数に関する最初の包括的な研究を行い、これらを回帰、ランキング、重み付き損失関数の3つのタイプに分類した。 その結果,損失関数の特定のカテゴリを効果的に組み合わせて予測器ベースのNASを向上できることが判明した。
• 参考スコア（独自算出の注目度）: 6.014777261874645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation is a critical but costly procedure in neural architecture search (NAS). Performance predictors have been widely adopted to reduce evaluation costs by directly estimating architecture performance. The effectiveness of predictors is heavily influenced by the choice of loss functions. While traditional predictors employ regression loss functions to evaluate the absolute accuracy of architectures, recent approaches have explored various ranking-based loss functions, such as pairwise and listwise ranking losses, to focus on the ranking of architecture performance. Despite their success in NAS, the effectiveness and characteristics of these loss functions have not been thoroughly investigated. In this paper, we conduct the first comprehensive study on loss functions in performance predictors, categorizing them into three main types: regression, ranking, and weighted loss functions. Specifically, we assess eight loss functions using a range of NAS-relevant metrics on 13 tasks across five search spaces. Our results reveal that specific categories of loss functions can be effectively combined to enhance predictor-based NAS. Furthermore, our findings could provide practical guidance for selecting appropriate loss functions for various tasks. We hope this work provides meaningful insights to guide the development of loss functions for predictor-based methods in the NAS community.
• Abstract（参考訳）: 評価は神経アーキテクチャサーチ(NAS)において重要ではあるがコストがかかる手順である。 アーキテクチャ性能を直接推定することで、評価コストを削減するために、性能予測器が広く採用されている。 予測器の有効性は損失関数の選択に大きく影響される。 従来の予測器は、アーキテクチャの絶対精度を評価するために回帰損失関数を用いるが、最近のアプローチでは、アーキテクチャ性能のランキングに焦点を合わせるために、ペアワイドやリストワイドのランキング損失など、様々なランキングに基づく損失関数を探索している。 NASでの成功にもかかわらず、これらの損失関数の有効性と特性は十分に研究されていない。 本稿では,性能予測器における損失関数を,回帰,ランキング,重み付き損失関数の3つの主要なタイプに分類する。 具体的には,5つの検索空間にまたがる13のタスクのNAS関連指標を用いて,8つの損失関数を評価する。 その結果,損失関数の特定のカテゴリを効果的に組み合わせて予測器ベースのNASを向上できることが判明した。 さらに, 種々のタスクに対して適切な損失関数を選択するための実用的なガイダンスを提供することができた。 この研究がNASコミュニティにおける予測型手法の損失関数開発を導く上で有意義な洞察を与えてくれることを願っている。

関連論文リスト

• Loss Functions in Deep Learning: A Comprehensive Review [3.8001666556614446]
  損失関数はディープラーニングの中心であり、モデルがどのように学習し、さまざまなタスクで実行するかを形作る。 本稿では, 損失関数の包括的レビューを行い, 平均二乗誤差やクロスエントロピーといった基本的な指標を, 逆数や拡散損失などの高度な関数に適用する。
  論文  参考訳（メタデータ） (2025-04-05T18:07:20Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Evaluating the Impact of Loss Function Variation in Deep Learning for Classification [0.0]
  損失関数は間違いなく、ニューラルネットワークにとって最も重要なハイパーパラメータの1つである。 ニューラルネットワークを教師付き分類設定で検討し、損失関数の選択がトレーニング結果に与える影響を分析する。 特定の損失関数は過度に最適に機能するが、我々の研究は、表現不足の損失が最先端の選択肢を大幅に上回っていることを実証的に示している。
  論文  参考訳（メタデータ） (2022-10-28T09:10:10Z)
• AutoLoss-Zero: Searching Loss Functions from Scratch for Generic Tasks [78.27036391638802]
  AutoLoss-Zeroは、ジェネリックタスクのスクラッチから損失関数を検索する最初のフレームワークである。 探索効率を向上させるために、損失低減プロトコルと勾配等価性チェック戦略を開発する。 様々なコンピュータビジョンタスクにおける実験により、検索損失関数は既存の損失関数と同等かそれ以上かが示されている。
  論文  参考訳（メタデータ） (2021-03-25T17:59:09Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。