論文の概要: Joint inference and input optimization in equilibrium networks
- arxiv url: http://arxiv.org/abs/2111.13236v1
- Date: Thu, 25 Nov 2021 19:59:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 03:44:01.451825
- Title: Joint inference and input optimization in equilibrium networks
- Title（参考訳）: 平衡ネットワークにおける結合推論と入力最適化
- Authors: Swaminathan Gurumurthy, Shaojie Bai, Zachary Manchester, J. Zico
Kolter
- Abstract要約: ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
- 参考スコア（独自算出の注目度）: 68.63726855991052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many tasks in deep learning involve optimizing over the \emph{inputs} to a
network to minimize or maximize some objective; examples include optimization
over latent spaces in a generative model to match a target image, or
adversarially perturbing an input to worsen classifier performance. Performing
such optimization, however, is traditionally quite costly, as it involves a
complete forward and backward pass through the network for each gradient step.
In a separate line of work, a recent thread of research has developed the deep
equilibrium (DEQ) model, a class of models that foregoes traditional network
depth and instead computes the output of a network by finding the fixed point
of a single nonlinear layer. In this paper, we show that there is a natural
synergy between these two settings. Although, naively using DEQs for these
optimization problems is expensive (owing to the time needed to compute a fixed
point for each gradient step), we can leverage the fact that gradient-based
optimization can \emph{itself} be cast as a fixed point iteration to
substantially improve the overall speed. That is, we \emph{simultaneously} both
solve for the DEQ fixed point \emph{and} optimize over network inputs, all
within a single ``augmented'' DEQ model that jointly encodes both the original
network and the optimization process. Indeed, the procedure is fast enough that
it allows us to efficiently \emph{train} DEQ models for tasks traditionally
relying on an ``inner'' optimization loop. We demonstrate this strategy on
various tasks such as training generative models while optimizing over latent
codes, training models for inverse problems like denoising and inpainting,
adversarial training and gradient based meta-learning.
- Abstract（参考訳）: ディープラーニングにおける多くのタスクは、いくつかの目的を最小化または最大化するためにネットワークへの \emph{inputs} の最適化を伴う。
しかし、このような最適化を行うのは非常にコストがかかり、各グラデーションステップでネットワークを完全前方と後方に通過する。
これは従来のネットワークの深さを予測し、代わりに1つの非線形層の固定点を見つけることによってネットワークの出力を計算するモデルである。
本稿では,この2つの設定の間に自然なシナジーが存在することを示す。
これらの最適化問題に対するdeqsの使用は高価であるが(勾配ステップごとに不動点を計算するのに必要な時間を与える)、勾配に基づく最適化を不動点反復としてキャストできるという事実を活用し、全体的な速度を大幅に改善することができる。
すなわち、ネットワーク入力に対するDECの固定点 \emph{and} の最適化はいずれも、元のネットワークと最適化プロセスの両方を共同でエンコードする単一の ``augmented'' DEQ モデル内で解決される。
実際、手順は十分高速なので、従来の ``inner'' 最適化ループに依存するタスクに対して、効率良く \emph{train} deqモデルを可能にする。
提案手法は,潜在コード上で最適化しながら生成モデルを訓練する,デノイジングやインペインティングなどの逆問題に対するトレーニングモデル,逆トレーニング,勾配に基づくメタラーニングなど,様々なタスクで実証する。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Neural Quantile Optimization for Edge-Cloud Networking [13.509945075582447]
我々は,バースト可能な請求書に基づいて制約を満足し,コストを最小化するエッジ・クラウド・コンピューティング・ネットワークにおいて,最適なトラフィック割当方式を模索する。
本稿では,教師なし学習による最適化問題を解決するため,Gumbel-softmaxサンプリングネットワークを提案する。
トレーニングされたネットワークは、効率的なトラフィック割当スキームサンプリングとして機能し、実現可能性およびコスト関数値のランダム戦略を著しく上回る。
論文 参考訳（メタデータ） (2023-07-11T11:05:10Z) - Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。
他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。
この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文 参考訳（メタデータ） (2022-10-11T03:47:14Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Half-Inverse Gradients for Physical Deep Learning [25.013244956897832]
異なる物理シミュレータをトレーニングプロセスに統合することは、結果の質を大幅に向上させる。
勾配に基づく解法は、多くの物理過程の固有の性質であるスケールと方向を操作できるため、勾配流に深い影響を与える。
本研究では,この現象に苦しむことのない新しい手法を導出するために,物理・ニューラルネットワーク最適化の特性を解析する。
論文 参考訳（メタデータ） (2022-03-18T19:11:04Z) - SHINE: SHaring the INverse Estimate from the forward pass for bi-level
optimization and implicit models [15.541264326378366]
近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。
トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。
本稿では,この計算ボトルネックに対処する新たな手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T15:07:34Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z) - A Flexible Framework for Designing Trainable Priors with Adaptive
Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。
グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。
このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文 参考訳（メタデータ） (2020-06-26T08:34:54Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。