論文の概要: Model Ensembling for Constrained Optimization

• arxiv url: http://arxiv.org/abs/2405.16752v1
• Date: Mon, 27 May 2024 01:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 19:25:57.205923
• Title: Model Ensembling for Constrained Optimization
• Title（参考訳）: 制約付き最適化のためのモデル構築
• Authors: Ira Globus-Harris, Varun Gupta, Michael Kearns, Aaron Roth,
• Abstract要約: 下流最適化に使用される多次元出力予測のためのモデルを組み立てたいという設定について検討する。 より正確には、状態空間を多次元実数値予測にマッピングする多くのモデルが与えられていると想像する。 これらの予測は、指定された制約の下で最適化したい線形対象の係数を形成する。 証明可能かつ収束性の高い2つのアルゴリズムに導かれる多重校正手法を適用した。
• 参考スコア（独自算出の注目度）: 7.4351710906830375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a long history in machine learning of model ensembling, beginning with boosting and bagging and continuing to the present day. Much of this history has focused on combining models for classification and regression, but recently there is interest in more complex settings such as ensembling policies in reinforcement learning. Strong connections have also emerged between ensembling and multicalibration techniques. In this work, we further investigate these themes by considering a setting in which we wish to ensemble models for multidimensional output predictions that are in turn used for downstream optimization. More precisely, we imagine we are given a number of models mapping a state space to multidimensional real-valued predictions. These predictions form the coefficients of a linear objective that we would like to optimize under specified constraints. The fundamental question we address is how to improve and combine such models in a way that outperforms the best of them in the downstream optimization problem. We apply multicalibration techniques that lead to two provably efficient and convergent algorithms. The first of these (the white box approach) requires being given models that map states to output predictions, while the second (the \emph{black box} approach) requires only policies (mappings from states to solutions to the optimization problem). For both, we provide convergence and utility guarantees. We conclude by investigating the performance and behavior of the two algorithms in a controlled experimental setting.
• Abstract（参考訳）: モデルアンサンブルの機械学習には、強化とバッグングから始まり、今日まで、長い歴史がある。 この歴史の多くは分類と回帰のためのモデルの組み合わせに焦点を合わせてきたが、近年では強化学習におけるポリシーの合理化など、より複雑な設定への関心が高まっている。 アンサンブルとマルチキャリブレーション技術の間にも強いつながりが出現している。 本研究は,下流最適化に使用される多次元出力予測のためのモデルを組み立てたいという設定を考慮し,これらのテーマをさらに検討する。 より正確には、状態空間を多次元実数値予測にマッピングする多くのモデルが与えられていると想像する。 これらの予測は、指定された制約の下で最適化したい線形対象の係数を形成する。 私たちが取り組んだ根本的な疑問は、下流最適化問題において、そのようなモデルをどのように改善し、組み合わせるかである。 証明可能かつ収束性の高い2つのアルゴリズムに導かれる多重校正手法を適用した。 第1の(ホワイトボックスの)アプローチでは状態を出力予測にマッピングするモデルが必要であり、第2の(emph{black box}の)アプローチではポリシーのみを必要とする(状態から最適化問題の解へのマッピング)。 コンバージェンスとユーティリティの両面での保証を提供します。 制御された実験環境での2つのアルゴリズムの性能と挙動を調べた。

関連論文リスト

• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Careful! Training Relevance is Real [0.7742297876120561]
  我々は、トレーニングの妥当性を強制するために設計された制約を提案する。 提案した制約を加えることで,ソリューションの品質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-01-12T11:54:31Z)
• Predict and Optimize: Through the Lens of Learning to Rank [9.434400627011108]
  ノイズコントラスト推定は、ソリューションキャッシュのランク付けを学習する場合とみなすことができる。 また、最適化問題を解くことなく、閉じた形で区別できるペアワイズとリストワイズランキングの損失関数も開発する。
  論文  参考訳（メタデータ） (2021-12-07T10:11:44Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• The Perils of Learning Before Optimizing [16.97597806975415]
  本稿では,最適化タスクを通じて予測モデルを識別することで,エンドツーエンドで予測モデルを学習する方法を示す。 2段階のアプローチとエンドツーエンドのアプローチのパフォーマンスギャップは、最適化における相関の概念の強調と密接に関係していることが示される。
  論文  参考訳（メタデータ） (2021-06-18T20:43:47Z)
• Bayesian Optimisation for Constrained Problems [0.0]
  本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。 我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
  論文  参考訳（メタデータ） (2021-05-27T15:43:09Z)
• Personalizing Performance Regression Models to Black-Box Optimization Problems [0.755972004983746]
  本研究では,数値最適化問題に対するパーソナライズされた回帰手法を提案する。 また、問題毎に1つの回帰モデルを選択するのではなく、パーソナライズされたアンサンブルを選択することの影響についても検討する。 本稿では,BBOBベンチマークコレクション上での数値最適化性能の予測について検討する。
  論文  参考訳（メタデータ） (2021-04-22T11:47:47Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。