論文の概要: Universal Neural Architecture Space: Covering ConvNets, Transformers and Everything in Between
- arxiv url: http://arxiv.org/abs/2510.06035v1
- Date: Tue, 07 Oct 2025 15:31:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.316276
- Title: Universal Neural Architecture Space: Covering ConvNets, Transformers and Everything in Between
- Title(参考訳): Universal Neural Architecture Space: ConvNet、Transformer、その他すべてをカバーする
- Authors: Ondřej Týbl, Lukáš Neumann,
- Abstract要約: ニューラルネットワーク探索のための汎用検索空間Universal Neural Architecture Space (UniNAS)を紹介する。
我々のアプローチは、新しいアーキテクチャの発見と、既存のアーキテクチャを共通のフレームワークで分析することを可能にする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Universal Neural Architecture Space (UniNAS), a generic search space for neural architecture search (NAS) which unifies convolutional networks, transformers, and their hybrid architectures under a single, flexible framework. Our approach enables discovery of novel architectures as well as analyzing existing architectures in a common framework. We also propose a new search algorithm that allows traversing the proposed search space, and demonstrate that the space contains interesting architectures, which, when using identical training setup, outperform state-of-the-art hand-crafted architectures. Finally, a unified toolkit including a standardized training and evaluation protocol is introduced to foster reproducibility and enable fair comparison in NAS research. Overall, this work opens a pathway towards systematically exploring the full spectrum of neural architectures with a unified graph-based NAS perspective.
- Abstract(参考訳): 我々は、畳み込みネットワーク、トランスフォーマー、およびそれらのハイブリッドアーキテクチャを単一のフレキシブルなフレームワークで統一する、ニューラルネットワーク探索のための汎用的な検索空間であるUniNASを紹介する。
我々のアプローチは、新しいアーキテクチャの発見と、既存のアーキテクチャを共通のフレームワークで分析することを可能にする。
また,提案した検索空間をトラバースできる新しい探索アルゴリズムを提案し,また,同一のトレーニング設定を使用する場合,最先端の手作りアーキテクチャよりも優れていることを示す。
最後に、再現性を向上し、NAS研究において公正な比較を可能にするため、標準化されたトレーニングおよび評価プロトコルを含む統一されたツールキットを導入する。
全体として、この研究は、統一グラフベースのNAS視点で、ニューラルネットワークの全スペクトルを体系的に探索する道を開く。
関連論文リスト
- ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures [60.14199724905456]
ONNX-Benchは、ONNXファイルに基づいた統一形式のニューラルネットワークの集合からなるベンチマークである。
ONNX-Netは、パフォーマンス予測器への入力として機能する自然言語記述を使用して、任意のニューラルネットワークを表す。
実験では,少数の事前学習サンプルのみを用いて,異なる探索空間をまたいだゼロショット性能を示す。
論文 参考訳(メタデータ) (2025-10-06T15:43:36Z) - EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [20.209756662832365]
微分可能なニューラルアーキテクチャサーチ(DARTS)は、高い探索効率でアーキテクチャ設計のマニュアルプロセスを自動化する。
眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
EM-DARTSは、最先端の認識性能につながる最適なアーキテクチャを実現できることを示す。
論文 参考訳(メタデータ) (2024-09-22T13:11:08Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳(メタデータ) (2023-05-15T12:44:54Z) - Construction of Hierarchical Neural Architecture Search Spaces based on
Context-free Grammars [66.05096551112932]
文脈自由文法に基づく統一検索空間設計フレームワークを提案する。
それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。
既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
論文 参考訳(メタデータ) (2022-11-03T14:23:00Z) - Connection Sensitivity Matters for Training-free DARTS: From
Architecture-Level Scoring to Operation-Level Sensitivity Analysis [32.94768616851585]
最近提案されたトレーニングフリーNAS手法は、トレーニングフェーズを放棄し、優れたアーキテクチャを識別するためのスコアとして、さまざまなゼロコストプロキシを設計する。
本稿では, DARTSにおける操作重要度を, パラメータ集中バイアスを回避して, トレーニング不要な方法で適切に測定できるか, という問題を提起する。
ZEROSをNASに活用するための反復的かつデータに依存しない手法を考案することにより、新しい試行は自由微分型アーキテクチャサーチ(FreeDARTS)と呼ばれるフレームワークに繋がる。
論文 参考訳(メタデータ) (2021-06-22T04:40:34Z) - Auto-Panoptic: Cooperative Multi-Component Architecture Search for
Panoptic Segmentation [144.50154657257605]
本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。
検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
論文 参考訳(メタデータ) (2020-10-30T08:34:35Z) - Interpretable Neural Architecture Search via Bayesian Optimisation with
Weisfeiler-Lehman Kernels [17.945881805452288]
現在のニューラルアーキテクチャサーチ(NAS)戦略は、単一の優れたアーキテクチャを見つけることに集中している。
そこで我々は,Weisfeiler-Lehmanグラフカーネルとガウス過程サロゲートを組み合わせたNASに対するベイズ最適化手法を提案する。
提案手法は,有用なネットワーク特徴とそれに伴うネットワーク性能への影響を発見することによって,解釈可能性を実現する。
論文 参考訳(メタデータ) (2020-06-13T04:10:34Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z) - Learning Architectures from an Extended Search Space for Language
Modeling [37.79977691127229]
ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。
繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。
学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
論文 参考訳(メタデータ) (2020-05-06T05:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。