論文の概要: E2E-AT: A Unified Framework for Tackling Uncertainty in Task-aware
End-to-end Learning
- arxiv url: http://arxiv.org/abs/2312.10587v2
- Date: Sat, 23 Dec 2023 16:38:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 20:45:34.299823
- Title: E2E-AT: A Unified Framework for Tackling Uncertainty in Task-aware
End-to-end Learning
- Title(参考訳): E2E-AT:タスク対応エンドツーエンド学習における不確実性に対処するための統一フレームワーク
- Authors: Wangkun Xu and Jianhong Wang and Fei Teng
- Abstract要約: 本稿では,機械学習モデルの入力特徴空間と制約付き最適化モデルの両方で生じる不確実性をカバーする統一フレームワークを提案する。
トレーニング中にCOの不確かさを無視することは、一般化エラーの新たな引き金となる。
このフレームワークはロバストな最適化問題として記述され、エンド・ツー・エンドの対角訓練(E2E-AT)によって現実的に解決されている。
- 参考スコア(独自算出の注目度): 9.741277008050927
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Successful machine learning involves a complete pipeline of data, model, and
downstream applications. Instead of treating them separately, there has been a
prominent increase of attention within the constrained optimization (CO) and
machine learning (ML) communities towards combining prediction and optimization
models. The so-called end-to-end (E2E) learning captures the task-based
objective for which they will be used for decision making. Although a large
variety of E2E algorithms have been presented, it has not been fully
investigated how to systematically address uncertainties involved in such
models. Most of the existing work considers the uncertainties of ML in the
input space and improves robustness through adversarial training. We extend
this idea to E2E learning and prove that there is a robustness certification
procedure by solving augmented integer programming. Furthermore, we show that
neglecting the uncertainty of COs during training causes a new trigger for
generalization errors. To include all these components, we propose a unified
framework that covers the uncertainties emerging in both the input feature
space of the ML models and the COs. The framework is described as a robust
optimization problem and is practically solved via end-to-end adversarial
training (E2E-AT). Finally, the performance of E2E-AT is evaluated by a
real-world end-to-end power system operation problem, including load
forecasting and sequential scheduling tasks.
- Abstract(参考訳): 成功した機械学習には、データ、モデル、下流アプリケーションの完全なパイプラインが含まれる。
それらを別々に扱う代わりに、予測と最適化モデルを組み合わせるための制約付き最適化(co)と機械学習(ml)のコミュニティで注目が集まっている。
いわゆるエンドツーエンド(E2E)学習は、意思決定に使用するタスクベースの目的を捉えます。
様々なE2Eアルゴリズムが提案されているが、そのようなモデルにまつわる不確実性に体系的に対処する方法は十分に研究されていない。
既存の研究の多くは、入力空間におけるMLの不確実性を考慮し、敵の訓練を通じて堅牢性を向上させる。
我々は、このアイデアをe2e学習に拡張し、拡張整数プログラミングを解いて堅牢性証明手順があることを証明する。
さらに,訓練中にCOの不確かさを無視することが,一般化エラーの新たな引き金となることを示す。
これらすべてのコンポーネントを含めるために、MLモデルとCOの入力特徴空間に現れる不確実性をカバーする統一的なフレームワークを提案する。
このフレームワークは堅牢な最適化問題として説明され、エンドツーエンドの対角訓練(E2E-AT)によって実際に解決されている。
最後に、負荷予測や逐次スケジューリングタスクを含む実世界のエンドツーエンド電力系統運用問題により、e2e-atの性能を評価する。
関連論文リスト
- Learning Constrained Optimization with Deep Augmented Lagrangian Methods [60.94111369773497]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳(メタデータ) (2024-03-06T04:43:22Z) - On the Robustness of Decision-Focused Learning [0.0]
決定焦点学習(Decision-Focused Learning, DFL)は、機械学習(ML)モデルを訓練し、不完全な最適化問題の欠落パラメータを予測するための新興学習パラダイムである。
DFLは、予測と最適化タスクを統合することで、エンドツーエンドシステムでMLモデルをトレーニングし、トレーニングとテストの目的の整合性を向上させる。
論文 参考訳(メタデータ) (2023-11-28T04:34:04Z) - Outcome-supervised Verifiers for Planning in Mathematical Reasoning [17.527674878272176]
アウトカム・スーパービジョン・バリュー・モデル(OVM)は、テキスト・プランニングの効率的かつ直感的な方法として、成果管理をトレーニングに採用している。
GSM8KとGame of 24の2つの多段階数学的推論データセットに対する実験により,OVMモデルの優れた性能が示された。
論文 参考訳(メタデータ) (2023-11-16T09:56:28Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳(メタデータ) (2023-06-04T18:14:18Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。
本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。
本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
論文 参考訳(メタデータ) (2023-05-06T09:02:10Z) - Efficient Knowledge Compilation Beyond Weighted Model Counting [7.828647825246474]
このような問題に対する一般的なフレームワークとして,第2レベル代数モデルカウント (2AMC) を導入している。
KC(Knowledge Compilation)に基づく第1レベルのテクニックは、変数順序制約を課すことで、特定の2AMCインスタンスに適応している。
2AMC問題の論理構造を利用して、これらの制約の一部を省略し、負の効果を制限できることが示される。
論文 参考訳(メタデータ) (2022-05-16T08:10:40Z) - The Perils of Learning Before Optimizing [16.97597806975415]
本稿では,最適化タスクを通じて予測モデルを識別することで,エンドツーエンドで予測モデルを学習する方法を示す。
2段階のアプローチとエンドツーエンドのアプローチのパフォーマンスギャップは、最適化における相関の概念の強調と密接に関係していることが示される。
論文 参考訳(メタデータ) (2021-06-18T20:43:47Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。