論文の概要: Semi-discrete optimization through semi-discrete optimal transport: a framework for neural architecture search

• arxiv url: http://arxiv.org/abs/2006.15221v2
• Date: Sun, 30 Jan 2022 21:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 21:40:27.960872
• Title: Semi-discrete optimization through semi-discrete optimal transport: a framework for neural architecture search
• Title（参考訳）: 半離散最適輸送による半離散最適化:ニューラルアーキテクチャ探索のためのフレームワーク
• Authors: Nicolas Garcia Trillos, Javier Morales
• Abstract要約: 最適輸送のアイデアを用いた半離散最適化のための理論的枠組みを提案する。 私たちの主なモチベーションは、ディープラーニングの分野、特にニューラルアーキテクチャ検索の分野です。 コンパニオンペーパーでは、我々のフレームワークにインスパイアされたアルゴリズムが同時期の手法と競合していることが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we introduce a theoretical framework for semi-discrete optimization using ideas from optimal transport. Our primary motivation is in the field of deep learning, and specifically in the task of neural architecture search. With this aim in mind, we discuss the geometric and theoretical motivation for new techniques for neural architecture search (in a companion paper we show that algorithms inspired by our framework are competitive with contemporaneous methods). We introduce a Riemannian-like metric on the space of probability measures over a semi-discrete space $\mathbb{R}^d \times \mathcal{G}$ where $\mathcal{G}$ is a finite weighted graph. With such Riemmanian structure in hand, we derive formal expressions for the gradient flow of a relative entropy functional, as well as second order dynamics for the optimization of said energy. Then, with the aim of providing a rigorous motivation for the gradient flow equations derived formally, we also consider an iterative procedure known as minimizing movement scheme (i.e., Implicit Euler scheme, or JKO scheme) and apply it to the relative entropy with respect to a suitable cost function. For some specific choices of metric and cost, we rigorously show that the minimizing movement scheme of the relative entropy functional converges to the gradient flow process provided by the formal Riemannian structure. This flow coincides with a system of reaction-diffusion equations on $\mathbb{R}^d$.
• Abstract（参考訳）: 本稿では,最適輸送の概念を用いた半離散最適化のための理論的枠組みを提案する。 私たちの主な動機は、ディープラーニングの分野、特にニューラルアーキテクチャ検索の分野にあります。 この目的を念頭に置いて,ニューラルアーキテクチャ探索のための新しい手法の幾何学的・理論的動機について論じる(共用論文では,我々のフレームワークに触発されたアルゴリズムが同時代の手法と競合していることを示す)。 半離散空間 $\mathbb{R}^d \times \mathcal{G}$ ここで、$\mathcal{G}$ は有限重み付きグラフである。 そのようなリーマン構造を手にして、相対エントロピー汎函数の勾配流に対する公式表現と、上記のエネルギーの最適化のための二階力学を導出する。 そして, 形式的に導出された勾配流方程式に対する厳密な動機付けを提供することを目的として, 最小化運動スキーム (Implicit Euler scheme, JKO scheme) と呼ばれる反復的手順も検討し, 適切なコスト関数に関する相対エントロピーに適用する。 計量とコストの特定の選択について、相対エントロピー汎函数の最小化運動スキームが形式的リーマン構造によって提供される勾配流過程に収束することを厳密に示す。 この流れは$\mathbb{R}^d$上の反応拡散方程式の系と一致する。

関連論文リスト

• Simultaneous and Meshfree Topology Optimization with Physics-informed Gaussian Processes [0.0]
  トポロジ最適化(TO)は、その物質空間分布を予め定義された領域で設計し、制約の集合に従うことによって、構造の性能を最適化する原理的な数学的アプローチを提供する。 我々は,ガウス過程(GP)の枠組みに基づく新しいTO手法を開発し,その平均関数はディープニューラルネットワークを介してパラメータ化される。 本手法を商用ソフトウェアに実装した従来のTO手法に対して検証するため,ストークスフローにおける消散電力の最小化を含む4つの問題に対して評価を行った。
  論文  参考訳（メタデータ） (2024-08-07T01:01:35Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Isotropic Gaussian Processes on Finite Spaces of Graphs [71.26737403006778]
  種々の非重み付きグラフの集合上でガウス過程の先行を定義するための原理的手法を提案する。 さらに、未重み付きグラフの同値類の集合を検討し、それに対する事前の適切なバージョンを定義する。 化学の応用に触発されて、我々は、小データ構造における実際の分子特性予測タスクについて、提案手法を解説した。
  論文  参考訳（メタデータ） (2022-11-03T10:18:17Z)
• Manifold Free Riemannian Optimization [4.484251538832438]
  滑らかな多様体 $mathcalM$ を用いて最適化問題を解くための原理的枠組みを提案する。 代数学M におけるコスト関数 $(x_i, y_i) の雑音のないサンプル集合 mathbbR$ と多様体 $mathcalM$ の固有次元を用いる。
  論文  参考訳（メタデータ） (2022-09-07T16:19:06Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• A Contraction Theory Approach to Optimization Algorithms from Acceleration Flows [1.90365714903665]
  私たちは、適切なODEを設計し、識別するための原則化された方法論を提供するために収縮理論を使用します。 本稿では, ODE の新しいシステム,すなわち Accelerated-Contracting-Nesterov フローを提案する。 注目すべきことに、この流れの単純明示的なオイラー離散化はネステロフ加速度法に対応する。
  論文  参考訳（メタデータ） (2021-05-18T21:11:37Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。