論文の概要: Bilevel Optimization for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2606.29582v1
• Date: Sun, 28 Jun 2026 19:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.976197
• Title: Bilevel Optimization for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のためのバイレベル最適化
• Abstract要約: 本稿では,2レベル最適化のレンズを用いたニューラルアーキテクチャサーチ(NAS)について概説する。 我々は,既存のNAS手法を,サンプリングに基づく手法と,二段階最適化原理を用いたアーキテクチャ探索問題を解く二段階理論に基づく手法の2つの主要なクラスに分類する。 比較分析により、二段階理論に基づくアプローチは、一般的にサンプリングに基づく手法よりも精度と効率の両方で優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.18425326702824343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilevel optimization has become an influential and widely adopted framework for addressing hierarchical optimization problems in machine learning, providing an effective approach to modeling the interaction between two levels of optimization, with applications such as hyperparameter tuning, meta-learning, adversarial training, and data poisoning. Neural Architecture Search (NAS), a subfield of hyperparameter optimization, is a prime example of a bilevel optimization problem, with architecture parameters optimized at the outer-level and network weights optimized at the inner level. This paper presents a structured overview of NAS through the lens of bilevel optimization. We categorize existing NAS approaches into two main classes: sampling-based methods, which search optimal architectures using different architecture samplers, and bilevel theory-based methods, which solve the architecture search problem using bilevel optimization principles. We further highlight our current research direction, wherein the bilevel NAS formulation is addressed through an auxiliary mathematical programming framework. This framework enables the systematic integration of second-order information from the model's training loss function and ensures the optimality of the model parameters while modifying architecture parameters. By simultaneously updating the architecture and model parameters along their respective optimal descent directions derived from the auxiliary mathematical program, these methods achieve more principled and theoretically consistent results. The same auxiliary program can also be used for simultaneous hyperparameter and model fine-tuning. A comparative analysis shows that bilevel theory-based approaches generally outperform sampling-based methods, both in accuracy and efficiency.
• Abstract（参考訳）: バイレベル最適化は、機械学習における階層的最適化問題に対処するための、影響力があり広く採用されているフレームワークとなり、ハイパーパラメータチューニング、メタラーニング、敵対的トレーニング、データ中毒といった2つのレベルの最適化間の相互作用をモデル化するための効果的なアプローチを提供する。 ハイパーパラメータ最適化のサブフィールドであるニューラルアーキテクチャサーチ(NAS)は、内部レベルで最適化された外部レベルとネットワークウェイトに最適化されたアーキテクチャパラメータを持つ、双レベル最適化問題の主例である。 本稿では,2レベル最適化のレンズによるNASの構造的概要について述べる。 我々は,既存のNASアプローチを,異なるアーキテクチャサンプルを用いた最適アーキテクチャを探索するサンプリングベース手法と,二段階最適化原理を用いたアーキテクチャ探索問題を解くバイレベル理論ベース手法の2つの主要なクラスに分類する。 両レベルNASの定式化は、補助的な数学的プログラミングフレームワークを通じて対処される。 このフレームワークは、モデルのトレーニング損失関数からの2階情報の体系的な統合を可能にし、アーキテクチャパラメータを変更しながらモデルパラメータの最適性を保証する。 補助的な数学的プログラムから導かれるそれぞれの最適降下方向に沿って、アーキテクチャとモデルパラメータを同時に更新することにより、これらの手法はより原理的で理論的に一貫した結果が得られる。 同じ補助プログラムは、同時にハイパーパラメーターやモデル微調整にも使用することができる。 比較分析により、二段階理論に基づくアプローチは、一般的にサンプリングに基づく手法よりも精度と効率の両方で優れていることが示された。

関連論文リスト

• New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
  fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。 PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。 ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-10T22:39:38Z)
• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization [4.703514158152835]
  Bilevelは最近、幅広いアプリケーションと高度な階層最適化機能のために、機械学習に大きな注目を集めている。 本稿では,双方向最適化手法の開発と解析を行うためのBOというプラグイン・アンド・プレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-02T13:26:43Z)
• Bayesian Optimization of Bilevel Problems [0.0]
  本稿では,上層機能と下層機能の両方がブラックボックスであり,評価に費用がかかる二段階最適化に焦点を当てる。 本稿では,上層および下層関数をガウス過程として,上層および下層決定の組合せ空間上でモデル化するベイズ最適化フレームワークを提案する。 実験の結果,提案アルゴリズムはサンプリング効率が高く,高品質な解を求める既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-12-24T15:55:30Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。