論文の概要: Transformer-Guided Swarm Intelligence for Frugal Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2607.11826v1
• Date: Mon, 13 Jul 2026 17:18:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.565588
• Title: Transformer-Guided Swarm Intelligence for Frugal Neural Architecture Search
• Title（参考訳）: ニューラルネットワーク探索のためのトランスフォーマー誘導スワムインテリジェンス
• Abstract要約: 本稿では,消費者階級のハードウェア上でのアーキテクチャ設計を民主化するためのフラガアルでメメティックなニューラルアーキテクチャ探索フレームワークを提案する。 提案手法は,RL(Reinforcement Learning)を用いて訓練された自己回帰トランスフォーマーコントローラのグローバルマクロ検索機能と,ABC(Artificial Bee Colony)アルゴリズムの局所的マイクロエクスロテーションを組み合わせたものである。 我々のフレームワークは、エッジデプロイメントに適した、カスタマイズされた、アクセス可能で、パラメータ効率の高いディープラーニングモデルを提供できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) has automated the design of deep learning models but traditionally requires massive computational resources, often measured in thousands of GPU-days. In this paper, we propose a frugal and memetic NAS framework designed to democratize architecture design on consumer-grade hardware. Our approach combines the global macro-search capabilities of an autoregressive Transformer controller, trained via Reinforcement Learning (RL), with the local micro-exploitation of an Artificial Bee Colony (ABC) algorithm. To prevent premature convergence during the RL phase, we introduce a dynamic entropy mechanism that forces topological exploration upon detection of performance stagnation. Evaluated on a standard GPU (NVIDIA RTX 3060), our hybrid method effectively resolves the "cold-start" problem inherent in metaheuristics. By algorithmically penalizing network depth, our framework actively mitigates model bloat: on the CIFAR-10 dataset, it discovers an efficient architecture reaching 84.85% accuracy with only $\sim$174,000 parameters (significantly smaller than standard baselines like ResNet-20) in 3 hours of search time. Furthermore, we demonstrate the framework's flexibility by applying it to credit card fraud detection, directly optimizing the F1-Score on highly imbalanced tabular data to reach a F1-Score of 0.71 with a compact network of $\sim$4,600 parameters. These results suggest that our approach can yield tailored, accessible, and highly parameter-efficient deep learning models suitable for edge deployment.
• Abstract（参考訳）: ニューラルネットワークサーチ(NAS)はディープラーニングモデルの設計を自動化するが、従来は大量の計算リソースを必要としており、通常は数千のGPUで計測される。 本稿では,消費者向けハードウェア上でのアーキテクチャ設計の民主化を目的とした,フラガアルかつメメメティックなNASフレームワークを提案する。 提案手法は,RL(Reinforcement Learning)を用いて訓練された自己回帰トランスフォーマーコントローラのグローバルマクロ検索機能と,ABC(Artificial Bee Colony)アルゴリズムの局所的マイクロエクスロテーションを組み合わせたものである。 RL相の早期収束を防止するため,我々は動的エントロピー機構を導入する。 標準的なGPU(NVIDIA RTX 3060)を用いて評価し、メタヒューリスティックスに固有の「コールドスタート」問題を効果的に解決する。 CIFAR-10データセットでは、効率的なアーキテクチャが84.85%の精度に到達し、検索時間3時間で$\sim$174,000のパラメータ(ResNet-20のような標準ベースラインよりも著しく小さい)しかありません。 さらに、クレジットカード不正検出に適用することで、F1スコアを高度に不均衡な表データに直接最適化し、$\sim$4,600パラメータのコンパクトネットワークで0.71のF1スコアに達することにより、フレームワークの柔軟性を実証する。 これらの結果から, エッジ配置に適した適応型, アクセシビリティ, パラメータ効率の高いディープラーニングモデルが得られることが示唆された。

関連論文リスト

• Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks [2.473241744699909]
  畳み込みニューラルネットワークアーキテクチャの進化のためのモデルフリーサロゲートPSOネットワーク(MFSPNet)を提案する。 MFSPNetは、パーティクルスワム最適化(PSO)フレームワークに軽量なモデルフリーサロゲート予測器を統合し、事前訓練されたサロゲートモデルを必要としない。 CIFAR-10, CIFAR-100, SVHNでは, それぞれ3.91%, 17.68%, 1.91%の誤差率が得られる。
  論文  参考訳（メタデータ） (2026-09-02T11:32:07Z)
• Consensus-gated Multi-Agent Neural Architecture Search for Seismic Fault Segmentation [0.17188280334580194]
  地震断層セグメンテーションのためのニューラルネットワークは、しばしばコンピュータビジョンや医療画像領域から借用される。 古典的ニューラルアーキテクチャサーチ(NAS)は手作りの検索スペースと大規模な計算予算に限定されている。 本稿では,3つの大規模言語モデル(Claude, GPT-5.1, Gemini2.5Pro)からなるエージェントNASシステムを提案する。
  論文  参考訳（メタデータ） (2026-08-14T02:41:37Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Symbolic Regression on FPGAs for Fast Machine Learning Inference [2.0920303420933273]
  高エネルギー物理コミュニティは、FPGA(Field-Programmable Gate Arrays)上に機械学習ベースのソリューションをデプロイする可能性を探っている シンボリックレグレッション(SR)と呼ばれる機械学習技術を利用した新しいエンドツーエンドプロシージャを提案する。 提案手法は,最大で5 nsまでの実行時間を最大13倍に抑えながら,90%以上の近似精度を維持した推論モデルを用いて3層ニューラルネットワークを近似できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T17:04:02Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Core-set Sampling for Efficient Neural Architecture Search [12.272975892517039]
  本稿では,データキュレーションの方法に基づいて問題を定式化しようと試みる。 我々の主要な戦略は、要約されたデータ分布、すなわちコアセットを使ってアーキテクチャを探索することである。 実験では,計算時間を30.8時間から3.5時間,8.8倍に短縮することができた。
  論文  参考訳（メタデータ） (2021-07-08T06:19:18Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。