論文の概要: A Guide to Stochastic Optimisation for Large-Scale Inverse Problems

• arxiv url: http://arxiv.org/abs/2406.06342v1
• Date: Mon, 10 Jun 2024 15:02:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:38:29.273991
• Title: A Guide to Stochastic Optimisation for Large-Scale Inverse Problems
• Title（参考訳）: 大規模逆問題に対する確率的最適化の一指針
• Authors: Matthias J. Ehrhardt, Zeljko Kereta, Jingwei Liang, Junqi Tang,
• Abstract要約: 最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードです。 我々は、逆問題の観点から、最適化における最先端の総合的な説明を提供する。 私たちは、機械学習で一般的に遭遇しない、ユニークな最適化の課題に焦点を合わせています。
• 参考スコア（独自算出の注目度）: 4.926711494319977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic optimisation algorithms are the de facto standard for machine learning with large amounts of data. Handling only a subset of available data in each optimisation step dramatically reduces the per-iteration computational costs, while still ensuring significant progress towards the solution. Driven by the need to solve large-scale optimisation problems as efficiently as possible, the last decade has witnessed an explosion of research in this area. Leveraging the parallels between machine learning and inverse problems has allowed harnessing the power of this research wave for solving inverse problems. In this survey, we provide a comprehensive account of the state-of-the-art in stochastic optimisation from the viewpoint of inverse problems. We present algorithms with diverse modalities of problem randomisation and discuss the roles of variance reduction, acceleration, higher-order methods, and other algorithmic modifications, and compare theoretical results with practical behaviour. We focus on the potential and the challenges for stochastic optimisation that are unique to inverse imaging problems and are not commonly encountered in machine learning. We conclude the survey with illustrative examples from imaging problems to examine the advantages and disadvantages that this new generation of algorithms bring to the field of inverse problems.
• Abstract（参考訳）: 確率最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードである。 各最適化ステップで利用可能なデータのサブセットのみを扱うことは、解に対する大きな進歩を保ちながら、イテレーションごとの計算コストを劇的に削減する。 大規模な最適化問題を可能な限り効率的に解決する必要があるため、過去10年間、この分野で研究が爆発的に活発化してきた。 機械学習と逆問題の間の並列性を活用することで、この研究波のパワーを利用して逆問題を解決することができる。 本稿では,逆問題の観点から,確率的最適化における最先端の総合的な説明を行う。 本稿では,問題ランダム化の多様性をもつアルゴリズムを提案し,分散低減,加速度,高次法,その他のアルゴリズム修正の役割について論じ,理論的結果と実践的振る舞いを比較した。 我々は,逆画像問題に特有の確率的最適化の可能性と課題に焦点をあてる。 本稿では,新しい世代のアルゴリズムが逆問題にもたらす利点とデメリットを検討するために,画像問題から図示的な例を用いて調査を締めくくる。

関連論文リスト

• Paired Autoencoders for Inverse Problems [3.355436702348694]
  前方問題は偏微分方程式の離散化である非線形逆問題の解を考える。 典型的なアルゴリズムの主な計算ボトルネックは、データ不適合性の直接推定である。 逆問題に対する確率自由度推定器として,ペアオートエンコーダフレームワークを用いる。
  論文  参考訳（メタデータ） (2024-05-21T22:00:34Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• A deep learning method for solving stochastic optimal control problems driven by fully-coupled FBSDEs [0.2064612766965483]
  本稿では,完全結合前方微分方程式(FBSDEs,略してFBSDEs)によって駆動される高次元最適制御問題の,ディープラーニングによる数値解に着目した。 まず,この問題をStackelberg差分ゲーム(リーダ・フォロワー問題)に変換し,リーダーのコスト関数と追従者のコストがディープニューラルネットワークを介して最適化されるクロス最適化手法(COCO法)を開発する。 数値的な結果については,実用新案による投資消費問題の2つの例を計算し,両例が有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-12T13:31:19Z)
• Instance-Dependent Confidence and Early Stopping for Reinforcement Learning [99.57168572237421]
  強化学習(RL)のための様々なアルゴリズムは、その収束率の劇的な変動を問題構造の関数として示している。 この研究は、観察されたパフォーマンスの違いについて、textitexを説明する保証を提供する。 次の自然なステップは、これらの理論的保証を実際に有用なガイドラインに変換することです。
  論文  参考訳（メタデータ） (2022-01-21T04:25:35Z)
• Dictionary and prior learning with unrolled algorithms for unsupervised inverse problems [12.54744464424354]
  本稿では,二段階問題として,劣化測定による辞書と事前学習について検討する。 合成と解析の近似定式化を解くために, アンロールアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2021-06-11T12:21:26Z)
• Consistency analysis of bilevel data-driven learning in inverse problems [1.0705399532413618]
  本稿では,データからの正規化パラメータの適応学習を最適化により検討する。 線形逆問題に対する我々のフレームワークの実装方法を示す。 勾配降下法を用いてオンライン数値スキームを導出する。
  論文  参考訳（メタデータ） (2020-07-06T12:23:29Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
  本稿では,データ駆動型汎用全深度変動正規化器について紹介する。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 我々は多数の画像処理タスクに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T21:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。