論文の概要: GreenMachine: Automatic Design of Zero-Cost Proxies for Energy-Efficient NAS

• arxiv url: http://arxiv.org/abs/2411.15290v1
• Date: Fri, 22 Nov 2024 17:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:29.300045
• Title: GreenMachine: Automatic Design of Zero-Cost Proxies for Energy-Efficient NAS
• Title（参考訳）: GreenMachine:エネルギー効率NASのためのゼロコストプロキシの自動設計
• Authors: Gabriel Cortês, Nuno Lourenço, Penousal Machado,
• Abstract要約: 本稿では,Deep Neural Networks (DNN) を効率的に評価するために,ゼロコストプロキシを自動設計することで,モデル評価の課題に対処する。 提案手法は,NATS-Benchベンチマークを用いて,無作為に生成されたゼロコストプロキシセットから開始する。 その結果, 本手法は, 階層化サンプリング戦略において, 既存の手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.8192907805418583
• License:
• Abstract: Artificial Intelligence (AI) has driven innovations and created new opportunities across various sectors. However, leveraging domain-specific knowledge often requires automated tools to design and configure models effectively. In the case of Deep Neural Networks (DNNs), researchers and practitioners usually resort to Neural Architecture Search (NAS) approaches, which are resource- and time-intensive, requiring the training and evaluation of numerous candidate architectures. This raises sustainability concerns, particularly due to the high energy demands involved, creating a paradox: the pursuit of the most effective model can undermine sustainability goals. To mitigate this issue, zero-cost proxies have emerged as a promising alternative. These proxies estimate a model's performance without the need for full training, offering a more efficient approach. This paper addresses the challenges of model evaluation by automatically designing zero-cost proxies to assess DNNs efficiently. Our method begins with a randomly generated set of zero-cost proxies, which are evolved and tested using the NATS-Bench benchmark. We assess the proxies' effectiveness using both randomly sampled and stratified subsets of the search space, ensuring they can differentiate between low- and high-performing networks and enhance generalizability. Results show our method outperforms existing approaches on the stratified sampling strategy, achieving strong correlations with ground truth performance, including a Kendall correlation of 0.89 on CIFAR-10 and 0.77 on CIFAR-100 with NATS-Bench-SSS and a Kendall correlation of 0.78 on CIFAR-10 and 0.71 on CIFAR-100 with NATS-Bench-TSS.
• Abstract（参考訳）: 人工知能(AI)はイノベーションを推進し、様々な分野に新しい機会を生み出している。 しかし、ドメイン固有の知識を活用するには、しばしばモデルの設計と構成を効果的に行う自動化ツールが必要である。 ディープニューラルネットワーク(DNN)の場合、研究者や実践者は一般的に、リソースと時間集約的なニューラルネットワーク探索(NAS)アプローチを採用し、多くの候補アーキテクチャのトレーニングと評価を必要とする。 これはサステナビリティの懸念、特に高エネルギー要求によるパラドックスを生じさせ、最も効果的なモデルの追求はサステナビリティの目標を損なう可能性がある。 この問題を軽減するために、ゼロコストプロキシが有望な代替手段として登場した。 これらのプロキシは、完全なトレーニングを必要とせずにモデルのパフォーマンスを推定し、より効率的なアプローチを提供します。 本稿では,DNNを効率的に評価するゼロコストプロキシを自動設計することで,モデル評価の課題に対処する。 提案手法は,NATS-Benchベンチマークを用いて,無作為に生成されたゼロコストプロキシセットから開始する。 探索空間のランダムサンプリングおよび階層化サブセットを用いてプロキシの有効性を評価し、低性能ネットワークと高パフォーマンスネットワークを区別し、一般化性を高める。 CIFAR-100では0.89、NATS-Bench-SSSでは0.77、CIFAR-100では0.78、NATS-Bench-TSSでは0.71である。

関連論文リスト

• Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability [2.6708879445664584]
  本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。 提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
  論文  参考訳（メタデータ） (2024-08-15T22:57:39Z)
• SHA-CNN: Scalable Hierarchical Aware Convolutional Neural Network for Edge AI [6.168286187549952]
  本稿では,エッジAIアプリケーションのための階層型認識畳み込みニューラルネットワーク(SHA-CNN)モデルアーキテクチャを提案する。 提案した階層型CNNモデルは、計算効率と精度のバランスをとるために精巧に設計されている。 重要なイノベーションは、モデルの階層的な認識にあり、複数の抽象化レベルで関連する機能を識別し、優先順位付けすることができる。
  論文  参考訳（メタデータ） (2024-07-31T06:44:52Z)
• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• REX: Rapid Exploration and eXploitation for AI Agents [103.68453326880456]
  本稿では、REXと呼ばれるAIエージェントのための高速探索およびeXploitationのための改良されたアプローチを提案する。 REXは追加の報酬層を導入し、アッパー信頼境界(UCB)スコアに似た概念を統合し、より堅牢で効率的なAIエージェントのパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-07-18T04:26:33Z)
• Evolving Zero Cost Proxies For Neural Architecture Scoring [3.441021278275805]
  ニューラルネットワークスコアリングのためのゼロコストプロキシの発見を自動化するための遺伝的プログラミングフレームワークを提案する。 本手法は,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見し,高いスコアと精度の相関関係を示す。
  論文  参考訳（メタデータ） (2022-09-15T16:10:16Z)
• Balancing Value Underestimation and Overestimation with Realistic Actor-Critic [6.205681604290727]
  本稿では,新しいモデルフリーアルゴリズムであるRealistic Actor-Critic(RAC)を提案する。 RACはUniversal Value Function Approximator (UVFA)を使用して、同じニューラルネットワークを持つポリシーファミリを同時に学習する。 我々は,MuJoCoベンチマークでRACを評価し,最も困難なHumanoid環境において,SACと比較して10倍のサンプル効率と25%の性能向上を実現した。
  論文  参考訳（メタデータ） (2021-10-19T03:35:01Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment [0.0]
  Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。 DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。 これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
  論文  参考訳（メタデータ） (2020-10-17T20:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。