論文の概要: SiamNAS: Siamese Surrogate Model for Dominance Relation Prediction in Multi-objective Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2506.02623v1
• Date: Tue, 03 Jun 2025 08:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.494685
• Title: SiamNAS: Siamese Surrogate Model for Dominance Relation Prediction in Multi-objective Neural Architecture Search
• Title（参考訳）: SiamNAS:多目的ニューラルアーキテクチャ探索における支配関係予測のためのシームズサロゲートモデル
• Authors: Yuyang Zhou, Ferrante Neri, Yew-Soon Ong, Ruibin Bai,
• Abstract要約: 現代のニューラルネットワーク探索(NAS)は本質的に多目的であり、精度、パラメータ数、計算コストなどのトレードオフのバランスをとる。 本稿では,シームズネットワークブロックのアンサンブルを利用した新しいサロゲートモデリング手法を提案する。 SiamNASと呼ばれるフレームワークに統合されたこの設計は、検索プロセス中にコストのかかる評価をなくす。
• 参考スコア（独自算出の注目度）: 27.518415466908998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural architecture search (NAS) is inherently multi-objective, balancing trade-offs such as accuracy, parameter count, and computational cost. This complexity makes NAS computationally expensive and nearly impossible to solve without efficient approximations. To address this, we propose a novel surrogate modelling approach that leverages an ensemble of Siamese network blocks to predict dominance relationships between candidate architectures. Lightweight and easy to train, the surrogate achieves 92% accuracy and replaces the crowding distance calculation in the survivor selection strategy with a heuristic rule based on model size. Integrated into a framework termed SiamNAS, this design eliminates costly evaluations during the search process. Experiments on NAS-Bench-201 demonstrate the framework's ability to identify Pareto-optimal solutions with significantly reduced computational costs. The proposed SiamNAS identified a final non-dominated set containing the best architecture in NAS-Bench-201 for CIFAR-10 and the second-best for ImageNet, in terms of test error rate, within 0.01 GPU days. This proof-of-concept study highlights the potential of the proposed Siamese network surrogate model to generalise to multi-tasking optimisation, enabling simultaneous optimisation across tasks. Additionally, it offers opportunities to extend the approach for generating Sets of Pareto Sets (SOS), providing diverse Pareto-optimal solutions for heterogeneous task settings.
• Abstract（参考訳）: 現代のニューラルネットワーク探索(NAS)は本質的に多目的であり、精度、パラメータ数、計算コストなどのトレードオフのバランスをとる。 この複雑さにより、NASは計算コストが高く、効率的な近似なしでは解けない。 そこで本研究では,シームズネットワークブロックのアンサンブルを利用して,候補アーキテクチャ間の支配関係を予測する新しい代理モデリング手法を提案する。 軽量で訓練が容易なサロゲートは92%の精度を実現し、サバイバル選択戦略における群集距離計算をモデルサイズに基づくヒューリスティックルールに置き換える。 SiamNASと呼ばれるフレームワークに統合されたこの設計は、検索プロセス中にコストのかかる評価をなくす。 NAS-Bench-201の実験は、計算コストを大幅に削減したパレート最適解を同定するフレームワークの能力を実証している。 提案されたSiamNASは、CIFAR-10のNAS-Bench-201とImageNetの2番目に良いアーキテクチャを含む最後の非支配セットを、0.01GPU日以内で検出した。 この概念実証研究は、マルチタスク最適化を一般化し、タスク間の同時最適化を可能にするために提案されたシームズネットワークサロゲートモデルの可能性を強調している。 さらに、SOS(Sets of Pareto Sets)を生成するためのアプローチを拡張する機会を提供し、異種タスク設定のための多様なPareto-Optimalソリューションを提供する。

関連論文リスト

• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
  混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
  論文  参考訳（メタデータ） (2020-07-20T12:00:48Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
  重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-04-16T17:46:39Z)
• NASS: Optimizing Secure Inference via Neural Architecture Search [21.72469549507192]
  セキュア推論(SI)に特化して設計されたNNアーキテクチャを検索する統合フレームワークであるNASSを提案する。 CIFAR-10データセットでは,予測精度が81.6%から84.6%に向上し,推論ランタイムは2倍,通信帯域幅は1.9倍になった。
  論文  参考訳（メタデータ） (2020-01-30T06:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。