論文の概要: Variation Matters: from Mitigating to Embracing Zero-Shot NAS Ranking Function Variation

• arxiv url: http://arxiv.org/abs/2502.19657v1
• Date: Thu, 27 Feb 2025 01:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:03.760028
• Title: Variation Matters: from Mitigating to Embracing Zero-Shot NAS Ranking Function Variation
• Title（参考訳）: 変動事項:ゼロショットNASランキング関数の変動を緩和するから導入するまで
• Authors: Pavel Rumiantsev, Mark Coates,
• Abstract要約: 本稿では,プロキシ性能指標を表すランダム変数としてランキング関数出力の変動を考慮する。 探索プロセスの間、私たちは最高のアーキテクチャを決定するためにパフォーマンスメトリクスの順序付けを構築しようとしています。 提案手法は,標準ベンチマーク検索空間における探索性能を効果的に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 18.672184596814077
• License:
• Abstract: Neural Architecture Search (NAS) is a powerful automatic alternative to manual design of a neural network. In the zero-shot version, a fast ranking function is used to compare architectures without training them. The outputs of the ranking functions often vary significantly due to different sources of randomness, including the evaluated architecture's weights' initialization or the batch of data used for calculations. A common approach to addressing the variation is to average a ranking function output over several evaluations. We propose taking into account the variation in a different manner, by viewing the ranking function output as a random variable representing a proxy performance metric. During the search process, we strive to construct a stochastic ordering of the performance metrics to determine the best architecture. Our experiments show that the proposed stochastic ordering can effectively boost performance of a search on standard benchmark search spaces.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークの手動設計の強力な代替手段である。 ゼロショットバージョンでは、アーキテクチャをトレーニングせずに比較するために、高速なランキング関数が使用される。 ランキング関数の出力は、評価されたアーキテクチャの初期化や計算に使用されるデータのバッチなど、ランダム性の異なるソースによって大きく異なることが多い。 この変動に対処する一般的なアプローチは、いくつかの評価においてランク関数の出力を平均化することである。 本稿では,プロキシ性能指標を表すランダムな変数としてランキング関数の出力を眺めることにより,その変動を異なる方法で考慮することを提案する。 探索過程において,最適なアーキテクチャを決定するために,性能指標の確率的順序付けを構築する。 提案手法は,標準ベンチマーク探索空間における探索性能を効果的に向上させることができることを示す。

関連論文リスト

• Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions [44.71975181739874]
  より抽象的で表現力に富んだ入力に対するソート問題、例えば、マルチ桁画像や画像フラグメントのソート問題をニューラルネットワークを介して検討する。 高次元入力から順序変数への写像を学習するには、ソートネットワークの微分可能性を保証する必要がある。
  論文  参考訳（メタデータ） (2023-10-11T03:47:34Z)
• Learning Interpretable Heuristics for WalkSAT [0.34265828682659694]
  本稿では,強化学習を用いて効果的な可変スコアリング関数と雑音パラメータを学習する手法を提案する。 実験の結果,WalkSATベースラインと,学習したローカル検索の両方に関して改善が見られた。
  論文  参考訳（メタデータ） (2023-07-10T14:52:14Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• Approximate Neural Architecture Search via Operation Distribution Learning [4.358626952482686]
  アーキテクチャセルが与えられた場合、その性能は使用した操作の比率に大きく依存することを示す。 この直感は特定の探索戦略であり、多様なNASアルゴリズムに適用することができる。
  論文  参考訳（メタデータ） (2021-11-08T17:38:29Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank [14.827143632277274]
  ユーザのバイアスモデル(すなわち、確率モデル)とアンバイアスなランク付けを共同で学習するAutoULTRアルゴリズムは、性能が優れ、実際のデプロイコストが低いため、多くの注目を集めている。 近年の文脈認識型学習 to ランクモデルの進歩により,複数の文書をまとめて読み上げ,それらのランキングスコアを予測する多変量スコア関数が,人間関連ラベルを用いたランキングタスクにおいて,一変量ランキング関数よりも強力であることが示されている。 2つの大規模ベンチマークデータセットの合成クリック実験により、置換不変な多変量スコアリング機能を持つAutoULTRモデルの性能が著しく向上したことが示された。
  論文  参考訳（メタデータ） (2020-08-20T16:31:59Z)
• Fast Differentiable Sorting and Ranking [36.40586857569459]
  我々は、最初の微分可能なソートおよびランキング演算子を$O(n log n)$ time と $O(n)$ space complexity で提案する。 この偉業は、置換の凸包であるペルムタヘドロンへの射影として微分可能作用素を構築し、等方最適化への還元を用いて達成する。
  論文  参考訳（メタデータ） (2020-02-20T17:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。