Fugu-MT 論文翻訳(概要): Bag of Tricks for Neural Architecture Search

論文の概要: Bag of Tricks for Neural Architecture Search

arxiv url: http://arxiv.org/abs/2107.03719v1
Date: Thu, 8 Jul 2021 09:57:39 GMT
ステータス: 処理完了
システム内更新日: 2021-07-09 18:52:56.718262
Title: Bag of Tricks for Neural Architecture Search
Title（参考訳）: ニューラルネットワーク検索のためのトリックのバグ
Authors: Thomas Elsken, Benedikt Staffler, Arber Zela, Jan Hendrik Metzen, Frank Hutter
Abstract要約: 安定性、効率、全体的な性能を改善するための実践的な考察について論じる。ニューラルアーキテクチャサーチ手法は、過去数年間で成功し、様々な問題に対する新しい最先端のパフォーマンスを生み出した。
参考スコア（独自算出の注目度）: 47.879476936015855
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While neural architecture search methods have been successful in previous years and led to new state-of-the-art performance on various problems, they have also been criticized for being unstable, being highly sensitive with respect to their hyperparameters, and often not performing better than random search. To shed some light on this issue, we discuss some practical considerations that help improve the stability, efficiency and overall performance.
Abstract（参考訳）: ニューラルネットワークの検索手法は、ここ数年で成功し、様々な問題に対する新たな最先端のパフォーマンスをもたらしたが、それらは不安定であり、ハイパーパラメータに対して非常に敏感であり、しばしばランダム検索よりもパフォーマンスが良いと批判されてきた。この問題に光を当てるために,我々は,安定性,効率,全体的な性能を改善するための実践的考察について論じる。

関連論文リスト

Neumann Series-based Neural Operator for Solving Inverse Medium Problem [5.980803988596087]
本研究ではニューマン級数構造をニューラルネットワークフレームワークに組み込むことにより,新しいアプローチを提案する。実験により,提案手法は計算を高速化するだけでなく,一般化性能を大幅に向上させることが示された。
論文参考訳（メタデータ） (2024-09-14T16:54:30Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文参考訳（メタデータ） (2023-12-08T17:05:47Z)
Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
論文参考訳（メタデータ） (2023-06-08T08:34:26Z)
$\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文参考訳（メタデータ） (2022-03-03T11:47:14Z)
Fitness Landscape Footprint: A Framework to Compare Neural Architecture Search Problems [12.901952926144258]
我々は、フィットネスランドスケープ分析を用いて、ニューラルアーキテクチャー探索問題を研究する。本稿では,古典画像分類ベンチマークCIFAR-10とリモートセンシング問題So2Sat LCZ42の2つの問題について検討する。
論文参考訳（メタデータ） (2021-11-02T13:20:01Z)
Making Differentiable Architecture Search less local [9.869449181400466]
微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
論文参考訳（メタデータ） (2021-04-21T10:36:43Z)
Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
論文参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。