Fugu-MT 論文翻訳(概要): Spectral Architecture Search for Neural Networks

論文の概要: Spectral Architecture Search for Neural Networks

arxiv url: http://arxiv.org/abs/2504.00885v1
Date: Tue, 01 Apr 2025 15:14:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-03 13:23:20.956995
Title: Spectral Architecture Search for Neural Networks
Title（参考訳）: ニューラルネットワークのためのスペクトルアーキテクチャ探索
Authors: Gianluca Peri, Lorenzo Giambagli, Lorenzo Chicchi, Duccio Fanelli,
Abstract要約: 本稿では,層間転送行列のスペクトル特性を利用した新しいアーキテクチャ探索プロトコルを提案する。提案手法は, 最小限の表現率を有する自己創出型アーキテクチャで, 調査対象のタスクを処理可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Architecture design and optimization are challenging problems in the field of artificial neural networks. Working in this context, we here present SPARCS (SPectral ARchiteCture Search), a novel architecture search protocol which exploits the spectral attributes of the inter-layer transfer matrices. SPARCS allows one to explore the space of possible architectures by spanning continuous and differentiable manifolds, thus enabling for gradient-based optimization algorithms to be eventually employed. With reference to simple benchmark models, we show that the newly proposed method yields a self-emerging architecture with a minimal degree of expressivity to handle the task under investigation and with a reduced parameter count as compared to other viable alternatives.
Abstract（参考訳）: アーキテクチャ設計と最適化は、人工知能の分野で難しい問題である。本稿では,SPARCS(SPectral ARchiteCture Search)という,層間移動行列のスペクトル特性を利用したアーキテクチャ検索プロトコルを提案する。 SPARCSは連続および微分可能多様体にまたがって可能なアーキテクチャの空間を探索できるので、勾配に基づく最適化アルゴリズムを最終的に採用することができる。簡単なベンチマークモデルから,提案手法は,検討中のタスクの処理に最小限の表現度を持つ自己収束型アーキテクチャと,他の実行可能な代替手法と比較してパラメータ数を削減できることを示す。

関連論文リスト

Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文参考訳（メタデータ） (2024-03-26T16:33:12Z)
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
論文参考訳（メタデータ） (2023-04-23T17:27:40Z)
CR-LSO: Convex Neural Architecture Optimization in the Latent Space of Graph Variational Autoencoder with Input Convex Neural Networks [7.910915721525413]
潜時空間最適化(LSO)に基づくニューラルアーキテクチャ探索(NAS)法では、離散的ニューラルアーキテクチャを連続潜時空間に埋め込むために深層生成モデルを訓練する。本稿では,空間の学習過程を正規化することを目的とした凸性アーキテクチャ正規化空間(CRLSO)法について述べる。 3つのNASベンチマークによる実験結果から,CR-LSOは計算複雑性と性能の両面で競合評価結果が得られることが示された。
論文参考訳（メタデータ） (2022-11-11T01:55:11Z)
Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文参考訳（メタデータ） (2021-12-16T05:50:55Z)
Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文参考訳（メタデータ） (2021-08-10T00:53:39Z)
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。暗黙の関数定理に基づいてDARTSの過次計算に取り組む。提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文参考訳（メタデータ） (2021-06-21T00:44:11Z)
Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文参考訳（メタデータ） (2021-06-16T17:12:26Z)
Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文参考訳（メタデータ） (2020-10-09T17:05:41Z)
Neural Architecture Optimization with Graph VAE [21.126140965779534]
連続空間におけるネットワークアーキテクチャを最適化するための効率的なNAS手法を提案する。フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントを共同で学習する。
論文参考訳（メタデータ） (2020-06-18T07:05:48Z)
AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-16T13:27:30Z)
Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。