論文の概要: Folded Optimization for End-to-End Model-Based Learning

• arxiv url: http://arxiv.org/abs/2301.12047v1
• Date: Sat, 28 Jan 2023 01:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 19:33:25.764330
• Title: Folded Optimization for End-to-End Model-Based Learning
• Title（参考訳）: エンドツーエンドモデルベース学習のためのフォールド最適化
• Authors: James Kotary, My H. Dinh, Ferdinando Fioretto
• Abstract要約: 深いネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、両方の領域で有望な進歩をもたらした。 一般的なアプローチはアンローリングであり、反復解法の操作による自動微分に依存している。 本論文は,無回転物体のバックプロパゲーションに関する理論的知見を提供する。
• 参考スコア（独自算出の注目度）: 37.99501959301896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of constrained optimization models as components in deep networks has led to promising advances in both these domains. A primary challenge in this setting is backpropagation through the optimization mapping, which typically lacks a closed form. A common approach is unrolling, which relies on automatic differentiation through the operations of an iterative solver. While flexible and general, unrolling can encounter accuracy and efficiency issues in practice. These issues can be avoided by differentiating the optimization mapping analytically, but current frameworks impose rigid requirements on the optimization problem's form. This paper provides theoretical insights into the backpropagation of unrolled optimizers, which lead to a system for generating equivalent but efficiently solvable analytical models. Additionally, it proposes a unifying view of unrolling and analytical differentiation through constrained optimization mappings. Experiments over various structured prediction and decision-focused learning tasks illustrate the potential of the approach both computationally and in terms of enhanced expressiveness.
• Abstract（参考訳）: 深いネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、両方の領域において有望な進歩をもたらした。 この設定の主な課題は最適化マッピングによるバックプロパゲーションであり、通常は閉じた形式が欠けている。 一般的なアプローチはアンローリングであり、反復解法の操作による自動微分に依存する。 柔軟で汎用的なアンローリングは、実際には正確さと効率性の問題がある。 これらの問題は最適化マッピングを解析的に区別することで回避できるが、現在のフレームワークは最適化問題の形式に厳格な要件を課している。 本稿では,未ロールオプティマイザのバックプロパゲーションに関する理論的知見を提供し,等価だが効率的な解析モデルを生成するシステムを提案する。 さらに,制約付き最適化マッピングによる展開と解析的微分の統一的視点を提案する。 様々な構造化予測と意思決定中心の学習タスクに関する実験は、計算的および表現性の向上の観点からアプローチの可能性を示している。

関連論文リスト

• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Socio-cognitive Optimization of Time-delay Control Problems using Evolutionary Metaheuristics [89.24951036534168]
  メタヒューリスティックス(Metaheuristics)は、古典的なアプローチでは解決できない難解な問題を解くために使用される普遍的な最適化アルゴリズムである。 本稿では,キャストに基づく新しい社会認知メタヒューリスティックの構築を目標とし,このアルゴリズムのいくつかのバージョンを時間遅延システムモデルの最適化に適用する。
  論文  参考訳（メタデータ） (2022-10-23T22:21:10Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Optimization Networks for Integrated Machine Learning [4.279210021862033]
  最適化ネットワークの中核となる原理を再考し、機械学習の問題を解決するための適合性を実証する。 我々は、他の機械学習問題を解決するためにネットワークを適応させることにより、最適化ネットワークの利点を正当化する。
  論文  参考訳（メタデータ） (2021-09-01T08:25:01Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。