論文の概要: A Guide to Stochastic Optimisation for Large-Scale Inverse Problems
- arxiv url: http://arxiv.org/abs/2406.06342v1
- Date: Mon, 10 Jun 2024 15:02:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 13:38:29.273991
- Title: A Guide to Stochastic Optimisation for Large-Scale Inverse Problems
- Title（参考訳）: 大規模逆問題に対する確率的最適化の一指針
- Authors: Matthias J. Ehrhardt, Zeljko Kereta, Jingwei Liang, Junqi Tang,
- Abstract要約: 最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードです。
我々は、逆問題の観点から、最適化における最先端の総合的な説明を提供する。
私たちは、機械学習で一般的に遭遇しない、ユニークな最適化の課題に焦点を合わせています。
- 参考スコア（独自算出の注目度）: 4.926711494319977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stochastic optimisation algorithms are the de facto standard for machine learning with large amounts of data. Handling only a subset of available data in each optimisation step dramatically reduces the per-iteration computational costs, while still ensuring significant progress towards the solution. Driven by the need to solve large-scale optimisation problems as efficiently as possible, the last decade has witnessed an explosion of research in this area. Leveraging the parallels between machine learning and inverse problems has allowed harnessing the power of this research wave for solving inverse problems. In this survey, we provide a comprehensive account of the state-of-the-art in stochastic optimisation from the viewpoint of inverse problems. We present algorithms with diverse modalities of problem randomisation and discuss the roles of variance reduction, acceleration, higher-order methods, and other algorithmic modifications, and compare theoretical results with practical behaviour. We focus on the potential and the challenges for stochastic optimisation that are unique to inverse imaging problems and are not commonly encountered in machine learning. We conclude the survey with illustrative examples from imaging problems to examine the advantages and disadvantages that this new generation of algorithms bring to the field of inverse problems.
- Abstract（参考訳）: 確率最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードである。
各最適化ステップで利用可能なデータのサブセットのみを扱うことは、解に対する大きな進歩を保ちながら、イテレーションごとの計算コストを劇的に削減する。
大規模な最適化問題を可能な限り効率的に解決する必要があるため、過去10年間、この分野で研究が爆発的に活発化してきた。
機械学習と逆問題の間の並列性を活用することで、この研究波のパワーを利用して逆問題を解決することができる。
本稿では,逆問題の観点から,確率的最適化における最先端の総合的な説明を行う。
本稿では,問題ランダム化の多様性をもつアルゴリズムを提案し,分散低減,加速度,高次法,その他のアルゴリズム修正の役割について論じ,理論的結果と実践的振る舞いを比較した。
我々は,逆画像問題に特有の確率的最適化の可能性と課題に焦点をあてる。
本稿では,新しい世代のアルゴリズムが逆問題にもたらす利点とデメリットを検討するために,画像問題から図示的な例を用いて調査を締めくくる。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - A Novel Plug-and-Play Approach for Adversarially Robust Generalization [38.72514422694518]
本稿では,MLモデルを摂動テストデータから保護するために,逆向きに堅牢なトレーニングを採用する頑健なフレームワークを提案する。
私たちの貢献は、計算学と統計学の両方の観点から見ることができます。
論文 参考訳（メタデータ） (2022-08-19T17:02:55Z) - A deep learning method for solving stochastic optimal control problems driven by fully-coupled FBSDEs [1.0703175070560689]
最初にこの問題をStackelberg微分ゲーム問題(リーダー-フォロワー問題)に変換する。
ユーティリティーモデルによる投資消費問題の2つの例を計算した。
その結果,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-04-12T13:31:19Z) - Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
複数の異なる損失を最小化しなければならない最適化問題を考える。
提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
論文 参考訳（メタデータ） (2020-07-14T09:50:33Z) - Consistency analysis of bilevel data-driven learning in inverse problems [1.0705399532413618]
本稿では,データからの正規化パラメータの適応学習を最適化により検討する。
線形逆問題に対する我々のフレームワークの実装方法を示す。
勾配降下法を用いてオンライン数値スキームを導出する。
論文 参考訳（メタデータ） (2020-07-06T12:23:29Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳（メタデータ） (2020-06-15T21:54:15Z) - Joint learning of variational representations and solvers for inverse
problems with partially-observed data [13.984814587222811]
本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。
変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。
これにより、データ駆動による変分モデルの発見につながる。
論文 参考訳（メタデータ） (2020-06-05T19:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。